windows7 32、64位下python爬虫框架scrapy环境的搭建方法

yipeiwu_com6年前Python爬虫

适用于python 2.7 64位安装

一、操作系统:WIN7 64位

二、python版本:2.7 64位(scrapy目前不支持3.x)

不确定位数的,看图

三、安装相关软件(可以从我的百度网盘下载:链接: https://pan.baidu.com/s/1MzHNALJcRePSoaEqBQvGAQ 提取码: xd5e )

我配置环境的时候是直接pip install scrapy安装的,但是在过程中出现一些错误,发现是由于以下软件安装失败导致的。所以请先安装这4个相关软件再安装scrapy。

一定要注意看看,你的python是不是64位的,位数一样才可以哈。否则要报错滴。

  1. pywin32-218.win-amd64-py2.7.exe   下载网站: https://sourceforge.net/projects/pywin32/files/pywin32/
  2. pyOpenSSL-0.13.1.win-amd64-py2.7.exe   官方主页:http://pypi.python.org/pypi/pyOpenSSL
  3. lxml-3.6.4-cp27-cp27m-win_amd64.whl   下载网站: http://www.lfd.uci.edu/~gohlke/pythonlibs/
  4. VCForPython27.msi

安装验证:cmd进入python控制中心,注意大小写敏感

import win32com
import OpenSSL
import lxml

如果没有报错,证明安装成功

四、安装scrapy:

使用pip命令

pip install scrapy

验证安装:cmd输入scrapy

scrapy

如果没有报错,如下图。证明安装成功

32位win7的安装过程和上述类似,只是文件不同。

相关文章

Python抓取淘宝下拉框关键词的方法

本文实例讲述了Python抓取淘宝下拉框关键词的方法。分享给大家供大家参考。具体如下: import urllib2,re for key in open('key.txt'):...

零基础写python爬虫之神器正则表达式

零基础写python爬虫之神器正则表达式

接下来准备用糗百做一个爬虫的小例子。 但是在这之前,先详细的整理一下Python中的正则表达式的相关内容。 正则表达式在Python爬虫中的作用就像是老师点名时用的花名册一样,是必不可少...

Python中urllib+urllib2+cookielib模块编写爬虫实战

Python中urllib+urllib2+cookielib模块编写爬虫实战

超文本传输协议http构成了万维网的基础,它利用URI(统一资源标识符)来识别Internet上的数据,而指定文档地址的URI被称为URL(既统一资源定位符),常见的URL指向文件、目录...

Python基于分析Ajax请求实现抓取今日头条街拍图集功能示例

Python基于分析Ajax请求实现抓取今日头条街拍图集功能示例

本文实例讲述了Python基于分析Ajax请求实现抓取今日头条街拍图集功能。分享给大家供大家参考,具体如下: 代码: import os import re import json...

Python 正则表达式爬虫使用案例解析

现在拥有了正则表达式这把神兵利器,我们就可以进行对爬取到的全部网页源代码进行筛选了。 下面我们一起尝试一下爬取内涵段子网站: http://www.neihan8.com/articl...