windows7 32、64位下python爬虫框架scrapy环境的搭建方法

yipeiwu_com6年前Python爬虫

适用于python 2.7 64位安装

一、操作系统:WIN7 64位

二、python版本:2.7 64位(scrapy目前不支持3.x)

不确定位数的,看图

三、安装相关软件(可以从我的百度网盘下载:链接: https://pan.baidu.com/s/1MzHNALJcRePSoaEqBQvGAQ 提取码: xd5e )

我配置环境的时候是直接pip install scrapy安装的,但是在过程中出现一些错误,发现是由于以下软件安装失败导致的。所以请先安装这4个相关软件再安装scrapy。

一定要注意看看,你的python是不是64位的,位数一样才可以哈。否则要报错滴。

  1. pywin32-218.win-amd64-py2.7.exe   下载网站: https://sourceforge.net/projects/pywin32/files/pywin32/
  2. pyOpenSSL-0.13.1.win-amd64-py2.7.exe   官方主页:http://pypi.python.org/pypi/pyOpenSSL
  3. lxml-3.6.4-cp27-cp27m-win_amd64.whl   下载网站: http://www.lfd.uci.edu/~gohlke/pythonlibs/
  4. VCForPython27.msi

安装验证:cmd进入python控制中心,注意大小写敏感

import win32com
import OpenSSL
import lxml

如果没有报错,证明安装成功

四、安装scrapy:

使用pip命令

pip install scrapy

验证安装:cmd输入scrapy

scrapy

如果没有报错,如下图。证明安装成功

32位win7的安装过程和上述类似,只是文件不同。

相关文章

Python实现的爬虫功能代码

本文实例讲述了Python实现的爬虫功能。分享给大家供大家参考,具体如下: 主要用到urllib2、BeautifulSoup模块 #encoding=utf-8 import re...

python实现爬取千万淘宝商品的方法

本文实例讲述了python实现爬取千万淘宝商品的方法。分享给大家供大家参考。具体实现方法如下: import time import leveldb from urllib.pars...

Python3实现的爬虫爬取数据并存入mysql数据库操作示例

Python3实现的爬虫爬取数据并存入mysql数据库操作示例

本文实例讲述了Python3实现的爬虫爬取数据并存入mysql数据库操作。分享给大家供大家参考,具体如下: 爬一个电脑客户端的订单。罗总推荐,抓包工具用的是HttpAnalyzerStd...

Python实现爬取亚马逊数据并打印出Excel文件操作示例

Python实现爬取亚马逊数据并打印出Excel文件操作示例

本文实例讲述了Python实现爬取亚马逊数据并打印出Excel文件操作。分享给大家供大家参考,具体如下: python大神们别喷,代码写的很粗糙,主要是完成功能,能够借鉴就看下吧,我是学...

Python爬虫爬取Bilibili弹幕过程解析

Python爬虫爬取Bilibili弹幕过程解析

先来思考一个问题,B站一个视频的弹幕最多会有多少? 比较多的会有2000条吧,这么多数据,B站肯定是不会直接把弹幕和这个视频绑在一起的。 也就是说,有一个视频地址为https://www...