近几日遇到采集某网页的时候大部分网页OK,少部分网页出现乱码的问题,调试了几日,终于发现了是含有一些非法字符造成的..特此记录
1. 在正常情况下..可以用
import chardet thischarset = chardet.detect(strs)["encoding"]
来获取该文件或页面的编码方式
或直接抓取页面的charset = xxxx 来获取
2. 遇到内容中有特殊字符时指定的编码一样会造成乱码..即内容中非法字符造成的,可以采用编码忽略非法字符的方式来处理.
strs = strs.decode("UTF-8","ignore").encode("UTF-8")
decode的第二个参数表示遇到非法字符时所采取的方式
该参数默认为抛出异常.
以上就是小编为大家带来的python 采集中文乱码问题的完美解决方法的全部内容了，希望对大家有所帮助，多多支持【听图阁-专注于Python设计】~
当在python中遍历一个序列时，我们通常采用如下的方法： for item in sequence: process(item) 如果要取到某个item的位置，可以...
首先让我们首先看一个例子。我们知道在*NIX下面，uname命令是查看系统的发行版。 可以写这样一个Fabric脚本： from fabric.api import run def...
本文实例讲述了Python文件的读写操作。分享给大家供大家参考，具体如下： 读写文件 读取文件 f = open('my_path/my_file.txt', 'r') # open...
虽然Python被说成是一种解释型语言，但是实际上，Python源程序要先经过编译，然后才能运行。 与Java语言类似，Python源程序编译之后得到的是字节码，交由Python虚拟机来...
本文实例讲述了Python多继承顺序。分享给大家供大家参考，具体如下： 示例1： #-*- coding:utf-8 -*- #!python2 class A(object):...