Python使用xpath实现图片爬取
高性能异步爬虫
目的：在爬虫中使用异步实现高性能的数据爬取操作
异步爬虫的方式：
-多线程、多进程（不建议）：
好处：可以为相关阻塞的操作单独开启多线程或进程，阻塞操作就可以异步执行;
弊端：无法无限制的开启多线程或多进程。
-线程池、进程池（适当的使用）：
好处：我们可以降低系统对进程或线程创建和销毁的一个频率，从而很好的降低系统的开销；
弊端：池中线程或进程的数据是有上限的。
代码如下
#_*_coding:utf-8_*_
"""
@FileName:6.4k图片解析爬取（异步高性能测试）.py
@CreateTime:2020/8/14001410:01
@Author:LurkerZhang
@E-mail:289735192@qq.com
@Desc.:
"""
importrequests
fromlxmlimportetree
fromsetting.configimport*
importjson
importos
importtime
frommultiprocessing.dummyimportPool
defmain():
#图片采集源地址
#source_url='http://pic.netbian.com/4kmeinv/'
#temp_url='http://pic.netbian.com/4kmeinv/index_{}.html'
#source_url='http://pic.netbian.com/4kdongman/'
#temp_url='http://pic.netbian.com/4kdongman/index_{}.html'
source_url='http://pic.netbian.com/4kmingxing/'
temp_url='http://pic.netbian.com/4kmingxing/index_{}.html'
#本此采集前多少页,大于1的整数
page_sum=136
all_pic_list_url=[]
ifpage_sum==1:
pic_list_url=source_url
print('开始下载:'+pic_list_url)
all_pic_list_url.append(pic_list_url)
else:
#先采集第一页
pic_list_url=source_url
#调用采集单页图片链接的函数
all_pic_list_url.append(pic_list_url)
#再采集第二页开始后面的页数
forpage_numinrange(2,page_sum+1):
pic_list_url=temp_url.format(page_num)
all_pic_list_url.append(pic_list_url)
#单页图片多线程解析
pool1=Pool(10)
pool1.map(down_pic,all_pic_list_url)
print('采集完成，本地成功下载{0}张图片,失败{1}张图片。'.format(total_success,total_fail))
#存储已下载文件名列表：
withopen("../depository/mingxing/pic_name_list.json",'w',encoding='utf-8')asfp:
json.dump(pic_name_list,fp)
defdown_pic(pic_list_url):
print("准备解析图片列表页：",pic_list_url)
#获取图片列表页的网页数据
pic_list_page_text=requests.get(url=pic_list_url,headers=headers).text
tree_1=etree.HTML(pic_list_page_text)
#获取图片地址列表
pic_show_url_list=tree_1.xpath('//div[@class="slist"]/ul//a/@href')
pic_url_list=[get_pic_url('http://pic.netbian.com'+pic_show_url)forpic_show_urlinpic_show_url_list]
#开始下载并保存图片(多线程)
pool2=Pool(5)
pool2.map(save_pic,pic_url_list)
defsave_pic(pic_url):
print("准备下载图片：",pic_url)
globaltotal_success,total_fail,pic_name_list,path
picname=get_pic_name(pic_url)
ifnotpicnameinpic_name_list:
#获取日期作为保存位置文件夹
pic=requests.get(url=pic_url,headers=headers).content
try:
withopen(path+picname,'wb')asfp:
fp.write(pic)
exceptIOError:
print(picname+"保存失败")
total_fail+=1
else:
pic_name_list.append(picname)
total_success+=1
print("成功保存图片:{0},共成功采集{1}张。".format(picname,total_success))
else:
print("跳过，已下载过图片："+picname)
total_fail+=1
defget_pic_name(pic_url):
returnpic_url.split('/')[-1]
defget_pic_url(pic_show_url):
tree=etree.HTML(requests.get(url=pic_show_url,headers=headers).text)
return'http://pic.netbian.com/'+tree.xpath('//div[@class="photo-pic"]/a/img/@src')[0]
if__name__=='__main__':
#读入已采集图片的名称库，名称存在重复的表示已经采集过将跳过不采集
ifnotos.path.exists('../depository/mingxing/pic_name_list.json'):
withopen("../depository/mingxing/pic_name_list.json",'w',encoding="utf-8")asfp:
json.dump([],fp)
withopen("../depository/mingxing/pic_name_list.json","r",encoding="utf-8")asfp:
pic_name_list=json.load(fp)
path='../depository/mingxing/'+time.strftime('%Y%m%d',time.localtime())+'/'
ifnotos.path.exists(path):
os.mkdir(path)
#记录本次采集图片的数量
total_success=0
total_fail=0
main()
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。