代码简化——在不改变行为的前提下提升可读性、降低复杂度。适用…

# 优化京东爬虫 parse 逻辑的实操方案

一、先说通用思路

嵌套深通常来自三层问题：多层 if 判断、for 循环里塞解析逻辑、异常处理包住大段代码。解法核心是“早返回 + 函数拆分 + 数据类”。

二、具体重构手法

1. 卫语句（Guard Clause）消灭深层 if

```python

# 之前：嵌套3层

if resp.ok:

if resp.status_code == 200:

if data.get('price'):

...

# 之后：早返回，扁平化

if not resp.ok:

return None

if data is None or 'price' not in data:

return None

return data['price']

```

2. 单一职责拆分

把 parse 拆成小函数，每个只做一件事：

• fetch_html(url) —— 只负责请求与重试
• extract_title(soup) —— 只取标题
• extract_price(soup) —— 只取价格（京东价格常在 JS 数据或独立接口里，单独处理更稳）
• parse_item(html) —— 组装上述结果，返回 dict
• save_to_csv(rows) —— 只负责落盘

主循环变成：

```python

for url in urls:

item = parse_item(fetch_html(url))

if item:

results.append(item)

save_to_csv(results)

```

3. 用 dataclass 替代裸 dict

```python

@dataclass

class Product:

title: str

price: float

url: str

```

好处：字段有类型提示，拼写错误能在编码期暴露。

4. 统一异常处理

不要每层都 try/except。只在 fetch_html 里捕获网络异常（返回 None），在 parse_item 入口用一次 try 包住，失败记日志跳过。

5. CSV 写入用标准库 DictWriter

```python

from csv import DictWriter

writer = DictWriter(f, fieldnames=["title", "price", "url"])

writer.writeheader()

writer.writerows(results)

```

避免手动拼字符串和嵌套循环写行。

三、配套建议

• 日志：用 logging 替代 print，方便排查失败的商品页。
• 限速：请求间加 time.sleep 随机间隔，降低被封风险。
• 反爬：京东对高频访问有验证码/拦截机制，考虑加请求头伪装、必要时上代理（成本区间从每月几十到几百元不等，视代理质量而定）。
• 维护性：800 行建议按 fetch.py / parse.py / storage.py / main.py 分模块。

四、预期效果

按上述重构，parse 部分嵌套一般能压到 2 层以内，单函数控制在 20~30 行，主流程一眼可读。如果你贴出 parse 相关的核心片段，我可以给出针对性的逐行改写。