Scrapy 爬虫中的一些技巧

  1. 由于隐私设置的缘故,有些用户可能没有显示一些数据,故针对某些用户 xpath 表达式可能会抛出一些异常,如下面代码获取用户的名称:
    user['nickname'] = selector.xpath("//div[@class='title-section ellipsis']/a[@class='name']/text()").extract()[0]

你可以将上面代码修改如下,以避免出现一个异常,避免采集的为空值所带来的异常:

user['nickname'] = ''.join(selector.xpath("//div[@class='title-section ellipsis']/a[@class='name']/text()").extract())

Profeel wechat
添加微信,加我好友,与我直接交流!

坚持原创技术分享,您的支持将鼓励我继续创作!