处理爬取知乎问题时的一些异常_知乎 进入知乎知乎 - 有问题,就会有答案系统监测到您的网络环境存在异常风险,为保

在这三个地方打断点，尤其是failure这打断点特别重要，会告诉我们错误信息。

调试了一会，我发现question中有一种情况是只提出问题，没有对这个问题进行描述，就是content为空这种情况。例如下图这种

看了下自己content的css选择器，再打开web调试器，搜索一下，发现如下图

这个css还可以用，只是内容为空。所以也就比较方便处理这个异常。

我在item.py中定义一个处理None的函数，如下。

# 排除none值
def exclude_none(value):
    if value:
        return value
    else:
        value = "无"
        return value
'
运行
运行

然后在修改一下content的scrapy.Field

content = scrapy.Field(
        input_processor=MapCompose(exclude_none),
    )

还要做一下异常处理

 try:
            content = "".join(self["content"])
        except BaseException:
            content = "无"

这样子，content内容为None时的异常就处理好了，运行一小会，打开数据表，可以发现

好了，这个异常解决了，继续DEBUG，新问题出现了。。。。。。failure给我报错answer出错了，我找到url，打开一看，窝草，没有回答，如下图。

一开始想，不也是None值情况吗，直接套用上面的思路呗，可是我发现。answer的css选择器在这里没有！没有！！！！

瞬间尴尬了，不知道咋处理，，翻了翻。发现一个好东西。貌似是问题的API，好激动。如下图

如果能提取到这些，岂不是非常方便。什么异常都可以很方便的处理了。可是，还不会提取。先写到这吧。附上知乎爬取的完整代码，虽然程序还不够健壮，但是比上一个版本的好。抓取question的成功率提高了不少。

更新：找到解决这个问题的方法，直接采用异常处理即可。

运行一会，发现数据表中已经插入了回答数为0的问题。