scrapy 安装Scrapy
示例
刮板安装的前提条件:
Python2.7或更高版本3.3
pip和setuptoolsPython软件包。
xml文件
OpenSSL。
您可以使用pip安装Scrapy。要使用piprun安装:
pip install Scrapy
平台特定的安装
水蟒
这是安装Scrapy的推荐方法。
如果您已经安装了Anaconda或Miniconda,Scrapinghub公司将维护适用于Linux,Windows和OSX的官方conda软件包。
要使用conda安装Scrapy,请运行:
conda install -c scrapinghub scrapy
Ubuntu9.10或更高版本
使用官方的Ubuntu软件包,该软件包已经为您解决了所有依赖性,并且会不断更新最新的错误修复程序。
如果您希望在本地构建python依赖项而不是依赖系统软件包,则需要先安装其所需的非python依赖项:
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
pip之后,您可以安装Scrapy:
pip install Scrapy
Archlinux
您可以按照一般说明进行操作,也可以从AURScrapy软件包中安装Scrapy:
yaourt -S scrapy
视窗
Windows尚不支持ScrapywithPython3。
请按照以下步骤在Windows上安装scrapy:
安装Python2.7
调整PATH环境变量以包含Python可执行文件和其他脚本的路径。需要将以下路径添加到PATH:
C:\Python27;C:\Python27\Scripts;
从这里安装pywin32
让我们安装Scrapy:
pipinstallScrapy
MacOSX
构建Scrapy的依赖项需要C编译器和开发标头的存在。在OSX上,这通常由Apple的Xcode开发工具提供。要安装Xcode命令行工具,请打开一个终端窗口并运行:
xcode-select --install
存在一个已知问题,无法pip更新系统软件包。必须解决此问题才能成功安装Scrapy及其依赖项。以下是一些建议的解决方案:
(推荐)不要使用系统python,安装新的更新版本,该版本应与系统的其余部分不冲突。使用自制程序包管理器的方法如下:
按照http://brew.sh/中的说明安装自制软件
更新PATH变量以声明应在系统软件包之前使用自制软件软件包(如果将zsh用作默认外壳,请更改.bashrc为.zshrc一致):
echo"exportPATH=/usr/local/bin:/usr/local/sbin:$PATH">>~/.bashrc
重新加载.bashrc以确保已进行更改:
source~/.bashrc
安装python:
brewinstallpython
最新版本的python已pip捆绑在一起,因此您无需单独安装。如果不是这种情况,请升级python:
brewupdate;brewupgradepython
(可选)在隔离的python环境中安装Scrapy。
此方法是上述OSX问题的解决方法,但它是管理依赖项的总体良好做法,可以补充第一种方法。
virtualenv是可用于在python中创建虚拟环境的工具。我们建议您阅读http://docs.python-guide.org/en/latest/dev/virtualenvs/之类的教程作为入门。
这些解决方法中的任何一种之后,您都应该能够安装Scrapy:
pip install Scrapy