python网络爬虫采集联想词示例

yipeiwu_com7年前Python爬虫

python爬虫_采集联想词代码

复制代码 代码如下:

#coding:utf-8
import urllib2
import urllib
import re
import time
from random import choice
#特别提示,下面这个list中的代理ip可能失效,请换上有效的代理ip
iplist  = ['27.24.158.153:81','46.209.70.74:8080','60.29.255.88:8888']

list1 = ["集团","科技"]
for item in list1:
    ip= choice(iplist)
    gjc = urllib.quote(item)
    url = "http://sug.so.360.cn/suggest/word?callback=suggest_so&encodein=utf-8&encodeout=utf-8&word="+gjc
    headers = {
                "GET":url,
                "Host":"sug.so.360.cn",
                "Referer":"http://www.so.com/",
                "User-Agent":"sMozilla/5.0 (Macintosh; Intel Mac OS X 10_8_4) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.56 Safari/537.17",
                }

    proxy_support = urllib2.ProxyHandler({'http':'http://'+ip})

    opener = urllib2.build_opener(proxy_support)
    urllib2.install_opener( opener )
    req = urllib2.Request(url)

    for key in headers:
        req.add_header(key,headers[key])

    html = urllib2.urlopen(req).read()

    ss = re.findall("\"(.*?)\"",html)
    for item in ss:
        print item
    time.sleep(2)

相关文章

python爬虫 urllib模块发起post请求过程解析

python爬虫 urllib模块发起post请求过程解析

urllib模块发起的POST请求 案例:爬取百度翻译的翻译结果 1.通过浏览器捉包工具,找到POST请求的url 针对ajax页面请求的所对应url获取,需要用到浏览器的捉包工具。...

python爬取拉勾网职位数据的方法

python爬取拉勾网职位数据的方法

今天写的这篇文章是关于python爬虫简单的一个使用,选取的爬取对象是著名的招聘网站——拉钩网,由于和大家的职业息息相关,所以爬取拉钩的数据进行分析,对于职业规划和求职时的信息提供有很大...

Python爬虫工程师面试问题总结

注:答案一般在网上都能够找到。 1.对if __name__ == 'main'的理解陈述 2.python是如何进行内存管理的? 3.请写出一段Python代码实现删除一个lis...

python抓取豆瓣图片并自动保存示例学习

环境Python 2.7.6,BS4,在powershell或命令行均可运行。请确保安装了BS模块复制代码 代码如下:# -*- coding:utf8 -*-# 2013.12.36...

python抓取文件夹的所有文件

本文实例为大家分享了python抓取文件夹的所有文件的具体代码,供大家参考,具体内容如下 #!/user/bin/python # -*- coding:utf8 -*- i...