Python爬虫之UserAgent的使用实例
问题:在Python爬虫的过程中经常要模拟UserAgent,因此自动生成UserAgent十分有用,最近看到一个Python库(fake-useragent),可以随机生成各种UserAgent,在这里记录一下,留给自己爬虫使用。
安装pipinstallfake-useragent
使用案例
基本使用
fromfake_useragentimportUserAgent ua=UserAgent() ua.ie #Mozilla/5.0(Windows;U;MSIE9.0;WindowsNT9.0;en-US); ua.msie #Mozilla/5.0(compatible;MSIE10.0;Macintosh;IntelMacOSX10_7_3;Trident/6.0)' ua['InternetExplorer'] #Mozilla/5.0(compatible;MSIE8.0;WindowsNT6.1;Trident/4.0;GTB7.4;InfoPath.2;SV1;.NETCLR3.3.69573;WOW64;en-US) ua.opera #Opera/9.80(X11;Linuxi686;U;ru)Presto/2.8.131Version/11.11 ua.chrome #Mozilla/5.0(WindowsNT6.1)AppleWebKit/537.2(KHTML,likeGecko)Chrome/22.0.1216.0Safari/537.2' ua.google #Mozilla/5.0(Macintosh;IntelMacOSX10_7_4)AppleWebKit/537.13(KHTML,likeGecko)Chrome/24.0.1290.1Safari/537.13 ua['googlechrome'] #Mozilla/5.0(X11;CrOSi6862268.111.0)AppleWebKit/536.11(KHTML,likeGecko)Chrome/20.0.1132.57Safari/536.11 ua.firefox #Mozilla/5.0(WindowsNT6.2;Win64;x64;rv:16.0.1)Gecko/20121011Firefox/16.0.1 ua.ff #Mozilla/5.0(X11;Ubuntu;Linuxi686;rv:15.0)Gecko/20100101Firefox/15.0.1 ua.safari #Mozilla/5.0(iPad;CPUOS6_0likeMacOSX)AppleWebKit/536.26(KHTML,likeGecko)Version/6.0Mobile/10A5355dSafari/8536.25 #andthebestone,randomviarealworldbrowserusagestatistic ua.random
注意:
fake-useragent将收集到的数据缓存到temp文件夹,例如/tmp,更新数据:
fromfake_useragentimportUserAgent ua=UserAgent() ua.update()
有时候会因为网络或者其他问题,出现异常(fake_useragent.errors.FakeUserAgentError:Maximumamountofretriesreached),可以禁用服务器缓存(从这里踩了一个坑,没仔细看文档的锅):
fromfake_useragentimportUserAgent ua=UserAgent(use_cache_server=False)
可以自己添加本地数据文件(v0.1.4+)
importfake_useragent #IamSTRONGLY!!!recommendtouseversionsuffix location='/home/user/fake_useragent%s.json'%fake_useragent.VERSION ua=fake_useragent.UserAgent(path=location) ua.random
其他功能用到的也不是很多，详细见文档吧。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对毛票票的支持。如果你想了解更多相关内容请查看下面相关链接