python爬虫框架scrapy实战之爬取京东商城进阶篇
前言
之前的一篇文章已经讲过怎样获取链接，怎样获得参数了，详情请看python爬取京东商城普通篇，本文将详细介绍利用python爬虫框架scrapy如何爬取京东商城，下面话不多说了，来看看详细的介绍吧。
代码详解
1、首先应该构造请求，这里使用scrapy.Request,这个方法默认调用的是start_urls构造请求，如果要改变默认的请求，那么必须重载该方法，这个方法的返回值必须是一个可迭代的对象，一般是用yield返回。
代码如下：
defstart_requests(self):
foriinrange(1,101):
page=i*2-1#这里是构造请求url的page,表示奇数
url=self.start_url+str(page)
yieldscrapy.Request(url,meta={'search_page':page+1},callback=self.parse_url)#这里使用meta想回调函数传入数据，回调函数使用response.meta['search-page']接受数据
下面就是解析网页了，从上面看出这里的解析回调函数是parse_url,因此在此函数中解析网页。这里还是和上面说的一样，这个url得到的仅仅是前一半的信息，如果想要得到后一半的信息还有再次请求，这里还有注意的就是一个技巧：一般先解析出一个数据的数组，不急着取出第一个数，先要用if语句判断，因为如果得到的是[]，那么直接取出[0]是会报错的，这只是一个避免报错的方法吧。
代码如下:
defparse_url(self,response):
ifresponse.status==200:#判断是否请求成功
#printresponse.url
pids=set()#这个集合用于过滤和保存得到的id,用于作为后面的ajax请求的url构成
try:
all_goods=response.xpath("//div[@id='J_goodsList']/ul/li")#首先得到所有衣服的整个框架，然后从中抽取每一个框架
forgoodsinall_goods:#从中解析每一个
#scrapy.shell.inspect_response(response,self)#这是一个调试的方法，这里会直接打开调试模式
items=JdSpiderItem()#定义要抓取的数据
img_url_src=goods.xpath("div/div[1]/a/img/@src").extract()#如果不存在就是一个空数组[]，因此不能在这里取[0]
img_url_delay=goods.xpath(
"div/div[1]/a/img/@data-lazy-img").extract()#这个是没有加载出来的图片，这里不能写上数组取第一个[0]
price=goods.xpath("div/div[3]/strong/i/text()").extract()#价格
cloths_name=goods.xpath("div/div[4]/a/em/text()").extract()
shop_id=goods.xpath("div/div[7]/@data-shopid").extract()
cloths_url=goods.xpath("div/div[1]/a/@href").extract()
person_number=goods.xpath("div/div[5]/strong/a/text()").extract()
pid=goods.xpath("@data-pid").extract()
#product_id=goods.xpath("@data-sku").extract()
ifpid:
pids.add(pid[0])
ifimg_url_src:#如果img_url_src存在
printimg_url_src[0]
items['img_url']=img_url_src[0]
ifimg_url_delay:#如果到了没有加载完成的图片，就取这个url
printimg_url_delay[0]
items['img_url']=img_url_delay[0]#这里如果数组不是空的，就能写了
ifprice:
items['price']=price[0]
ifcloths_name:
items['cloths_name']=cloths_name[0]
ifshop_id:
items['shop_id']=shop_id[0]
shop_url="https://mall.jd.com/index-"+str(shop_id[0])+".html"
items['shop_url']=shop_url
ifcloths_url:
items['cloths_url']=cloths_url[0]
ifperson_number:
items['person_number']=person_number[0]
#ifproduct_id:
#print"************************************csdjkvjfskvnk***********************"
#printself.comments_url.format(str(product_id[0]),str(self.count))
#yieldscrapy.Request(url=self.comments_url.format(str(product_id[0]),str(self.count)),callback=self.comments)
#yieldscrapy.Request写在这里就是每解析一个键裤子就会调用回调函数一次
yielditems
exceptException:
print"********************************************ERROR**********************************************************************"
yieldscrapy.Request(url=self.search_url.format(str(response.meta['search_page']),",".join(pids)),callback=self.next_half_parse)#再次请求，这里是请求ajax加载的数据，必须放在这里，因为只有等到得到所有的pid才能构成这个请求，回调函数用于下面的解析
2、从上面代码的最后可以看出最后就是解析ajax加载的网页了，这里调用的next_half_parse函数，和解析前面一个网页一样，这里需要的注意的是，如果前面定义的数据没有搜索完毕是不能使用yielditems的，必须将items通过meta传入下一个回调函数继续完善后才能yielditems,这里就不需要了。
代码如下：
#分析异步加载的网页
defnext_half_parse(self,response):
ifresponse.status==200:
printresponse.url
items=JdSpiderItem()
#scrapy.shell.inspect_response(response,self)#y用来调试的
try:
lis=response.xpath("//li[@class='gl-item']")
forliinlis:
cloths_url=li.xpath("div/div[1]/a/@href").extract()
img_url_1=li.xpath("div/div[1]/a/img/@src").extract()
img_url_2=li.xpath("div/div[1]/a/img/@data-lazy-img").extract()
cloths_name=li.xpath("div/div[4]/a/em/text()").extract()
price=li.xpath("div/div[3]/strong/i/text()").extract()
shop_id=li.xpath("div/div[7]/@data-shopid").extract()
person_number=li.xpath("div/div[5]/strong/a/text()").extract()
ifcloths_url:
printcloths_url[0]
items['cloths_url']=cloths_url[0]
ifimg_url_1:
printimg_url_1[0]
items['img_url']=img_url_1
ifimg_url_2:
printimg_url_2[0]
items['img_url']=img_url_2[0]
ifcloths_name:
items['cloths_name']=cloths_name[0]
ifprice:
items['price']=price[0]
ifshop_id:
items['shop_id']=shop_id[0]
items['shop_url']="https://mall.jd.com/index-"+str(shop_id[0])+".html"
ifperson_number:
items['person_number']=person_number[0]
yielditems#又一次的生成，这里是完整的数据，因此可以yielditems
exceptException:
print"**************************************************"
3、当然这里还用到了设置请求池，mysql存储，没有使用到ip代理，这个在我前面的博客中又讲到，这里就不再赘述了。
想看源代码的朋友请
点击这里 或者本地下载
小技巧
- 人们会抱怨为什么自己的爬虫在中途断开就要重头开始爬，为什么不能从断开那里开始爬呢，这里提供一个方法：在配置文件settings.py中加入JOBDIR=file_name,这里的file_name是一个文件的名字
- 设置下载延迟防止被ban:DOWNLOAD_DELAY=2:设置每一次的间隔时间RANDOMIZE_DOWNLOAD_DELAY=True:这个是随机设置延迟时间在设置的时间的0.5-1.5倍之间，这样可以更有效的防止被ban,一般是配套使用的
- ROBOTSTXT_OBEY=False:这里是表示不遵循robots.txt文件，默认是True表示遵循，这里将之改成False
- CONCURRENT_REQUESTS:设置最大请求数，这里默认的时16，我们可以根据自己电脑的配置改的大一点来加快请求的速度
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者使用python能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对毛票票的支持。