刚刚遇到一个奇怪的问题,代码应该是没有错误的
内容是这样的,准备在关于知乎的一个话题下,爬取所有问题的url保存到数据库中
但是,最后写了循环到yield scrapy.Request,但是没有成功的跳转,不知道问题所在
就去segmentfalt发帖问了
上个厕所回来,发现自己代码有问题,从头开始看,原来allowed_domains中的链接的topic写成了topics,然后生成的链接不在allowed_domains里面,所以就无法跳转
╮(╯▽╰)╭
粗心大意
不过以后不会遇到类似的问题了,也会对allowed_domains有更深的理解了