python抓取网站的图片并下载到本地的方法

yipeiwu_com5年前Python爬虫

实例如下所示:

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import re
import urllib,urllib2;
#通过url获取网页
def getHtml(url):
 # 要设置请求头,让服务器知道不是机器人
 user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
 headers = {'User-Agent': user_agent}
 request=urllib2.Request(url,headers=headers);
 page = urllib2.urlopen(request);
 html = page.read()
 return html
#通过正则表达式来获取图片地址,并下载到本地
def getImg(html):
 reg = r'src="(.+?\.jpg)"'
 imgre = re.compile(reg)
 imglist = imgre.findall(html)
 x = 0
 for imgurl in imglist:
  print imgurl;
  #通过urlretrieve函数把数据下载到本地的D:\\images,所以你需要创建目录
  urllib.urlretrieve(imgurl, 'D:\\images\\%s.jpg' % x)
  x = x + 1
html = getHtml("http://www.qiushibaike.com/imgrank/")
getImg(html)

以上这篇python抓取网站的图片并下载到本地的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持【听图阁-专注于Python设计】。

相关文章

python爬虫获取淘宝天猫商品详细参数

首先我是从淘宝进去,爬取了按销量排序的所有(100页)女装的列表信息按综合、销量分别爬取淘宝女装列表信息,然后导出前100商品的 link,爬取其详细信息。这些商品有淘宝的,也有天猫的,...

python爬虫框架scrapy实战之爬取京东商城进阶篇

前言 之前的一篇文章已经讲过怎样获取链接,怎样获得参数了,详情请看python爬取京东商城普通篇,本文将详细介绍利用python爬虫框架scrapy如何爬取京东商城,下面话不多说了,来看...

基于python 爬虫爬到含空格的url的处理方法

道友问我的一个问题,之前确实没遇见过,在此记录一下。 问题描述 在某网站主页提取url进行迭代,爬虫请求主页时没有问题,返回正常,但是在访问在主页提取到的url时出现了400状态码(40...

浅析python实现scrapy定时执行爬虫

项目需要程序能够放在超算中心定时运行,于是针对scrapy写了一个定时爬虫的程序main.py ,直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。 最简单的方法:直接...

Python 微信爬虫完整实例【单线程与多线程】

本文实例讲述了Python 实现的微信爬虫。分享给大家供大家参考,具体如下: 单线程版: import urllib.request import urllib.parse impo...