python爬虫要用到的库总结
python爬虫要用到的库：
请求库：实现HTTP请求操作
- urllib：一系列用于操作URL的功能。
- requests：基于urllib编写的，阻塞式HTTP请求库，发出一个请求，一直等待服务器响应后，程序才能进行下一步处理。
- selenium：自动化测试工具。一个调用浏览器的driver，通过这个库你可以直接调用浏览器完成某些操作，比如输入验证码。
- aiohttp：基于asyncio实现的HTTP框架。异步操作借助于async/await关键字，使用异步库进行数据抓取，可以大大提高效率。
- 解析库：从网页中提取信息
- beautifulsoup：html和XML的解析,从网页中提取信息，同时拥有强大的API和多样解析方式。
- pyquery：jQuery的Python实现，能够以jQuery的语法来操作解析HTML文档，易用性和解析速度都很好。
- lxml：支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高。
- tesserocr：一个OCR库，在遇到验证码（图形验证码为主）的时候，可直接用OCR进行识别。
- 存储库：Python与数据库交互
- pymysql：一个纯Python实现的MySQL客户端操作库。
- pymongo：一个用于直接连接mongodb数据库进行查询操作的库。
- redisdump：一个用于redis数据导入/导出的工具。基于ruby实现的，因此使用它，需要先安装Ruby。
- 爬虫框架
- Scrapy：很强大的爬虫框架，可以满足简单的页面爬取（比如可以明确获知urlpattern的情况）。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求了。
- Crawley：高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。
- Portia：可视化爬取网页内容。
- newspaper：提取新闻、文章以及内容分析。
- python-goose：java写的文章提取工具。
- cola：一个分布式爬虫框架。项目整体设计有点糟，模块间耦合度较高。
- Web框架库
- flask：轻量级的web服务程序，简单，易用，灵活，主要来做一些API服务。做代理时可能会用到。
- django：一个web服务器框架，提供了一个完整的后台管理，引擎、接口等，使用它可做一个完整网站。
观点扩展：
学习爬虫，最初的操作便是模拟浏览器向服务器发出请求，那么我们需要从哪个地方开始做起呢？请求需要我们自己来构造吗？需要关心请求这个数据结构的实现嘛？需要了解HTTP、TCP、IP层的网络传输通信吗？需要直到服务器的响应和应答原理吗？
可能你对这些根本不了解，也没办法下手。但是没关系，python为我们提供了功能齐全的类库来帮助我们完成这些请求。最基础的HTTP库有urllib、requests、treq等。
以urllib为例，有了它，我们只需要关心请求的连接是什么。需要传的参数是什么，以及如何设置可选的请求头就好了，不用深入到底层去了解它到底是怎样传输和通信的。有了它，两行代码就可以完成一个请求和相应的处理过程，得到网页内容，是不是感觉方便极了？
以上就是python爬虫要用到的库总结的详细内容，更多关于python爬虫要用到哪些库的资料请关注毛票票其它相关文章！