python实现爬虫统计学校BBS男女比例之多线程爬虫（二）
yipeiwu_com5年前
接着第一篇继续学习。 一、数据分类 正确数据：id、性别、活动时间三者都有 放在这个文件里file1 = 'ruisi\\correct%s-%s.txt' % (startNum, e...
python实现爬虫统计学校BBS男女比例之数据处理（三）
yipeiwu_com5年前
本文主要介绍了数据处理方面的内容，希望大家仔细阅读。 一、数据分析 得到了以下列字符串开头的文本数据，我们需要进行处理 二、回滚 我们需要对httperror的数据进行再处理 因为代...
详解Python爬虫的基本写法
yipeiwu_com5年前
什么是爬虫 爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？这个由你来...
使用Python的urllib和urllib2模块制作爬虫的实例教程
yipeiwu_com5年前
urllib 学习python完基础,有些迷茫.眼睛一闭,一种空白的窒息源源不断而来.还是缺少练习,遂拿爬虫来练练手.学习完斯巴达python爬虫课程后,将心得整理如下,供后续翻看.整篇...
以视频爬取实例讲解Python爬虫神器Beautiful Soup用法
yipeiwu_com5年前
1.安装BeautifulSoup4 easy_install安装方式,easy_install需要提前安装 easy_install beautifulsoup4 pip安装方...
编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法
yipeiwu_com5年前
抓取豆瓣电影TOP100 一、分析豆瓣top页面，构建程序结构 1.首先打开网页http://movie.douban.com/top250?start，也就是top页面 然后试...
Python制作爬虫抓取美女图
yipeiwu_com5年前
作为一个新世纪有思想有文化有道德时刻准备着的屌丝男青年，在现在这样一个社会中，心疼我大慢播抵制大百度的前提下，没事儿上上网逛逛YY看看斗鱼翻翻美女图片那是必不可少的，可是美图虽多翻页...
Python使用Beautiful Soup包编写爬虫时的一些关键点
yipeiwu_com5年前
1.善于利用soup节点的parent属性 比如对于已经得到了如下html代码： <td style="padding-left:0" width="60%"><l...
Python的爬虫包Beautiful Soup中用正则表达式来搜索
yipeiwu_com5年前
Beautiful Soup使用时，一般可以通过指定对应的name和attrs去搜索，特定的名字和属性，以找到所需要的部分的html代码。 但是，有时候，会遇到，对于要处理的内容中，其n...
