admin管理员组

文章数量:1130349

        在使用python爬取网页时，经常会遇到乱码问题，一旦遇到乱码问题，就很难得到有用的信息。本人遇到乱码问题，一般有以下几个方式：

1、查看网页源码中的head标签，找到编码方式，例如：

    

        在上图中，可以看到charset='utf-8',说明这个网页很大可能是采用‘UTF-8’编码（是很大可能，但不是百分之百），因此可以试试这个编码方式：

result = response.content.decode('utf-8')

        这种方式得到的内容基本上就不会乱码

2、如果上述的方式没有任何作用，页面依然乱码；或者在head标签下并没有找到charset属性；或者我们要采集很多网页的信息，而且这些网页的编码方式不尽相同，我们不可能做到一个一个网页的去查看head标签，那么可以采用下面的方式解决乱码。

    2.1 python 的 chardet库

            可以使用下面的方式解决乱码问题

result = chardet.detect(response.content)
print(result)
data = response.content.decode(chardet.detect(response.content)['encoding'])
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}

            从输出结果可以看出这是“猜测”编码，猜测的方式是先收集各种编码的特征字符，根据特征字符判断，就能有很大概率“猜对”。

        在使用python爬取网页时，经常会遇到乱码问题，一旦遇到乱码问题，就很难得到有用的信息。本人遇到乱码问题，一般有以下几个方式：

1、查看网页源码中的head标签，找到编码方式，例如：

    

        在上图中，可以看到charset='utf-8',说明这个网页很大可能是采用‘UTF-8’编码（是很大可能，但不是百分之百），因此可以试试这个编码方式：

result = response.content.decode('utf-8')

        这种方式得到的内容基本上就不会乱码

2、如果上述的方式没有任何作用，页面依然乱码；或者在head标签下并没有找到charset属性；或者我们要采集很多网页的信息，而且这些网页的编码方式不尽相同，我们不可能做到一个一个网页的去查看head标签，那么可以采用下面的方式解决乱码。

    2.1 python 的 chardet库

            可以使用下面的方式解决乱码问题

result = chardet.detect(response.content)
print(result)
data = response.content.decode(chardet.detect(response.content)['encoding'])
{'confidence': 0.99, 'language': '', 'encoding': 'utf-8'}

            从输出结果可以看出这是“猜测”编码，猜测的方式是先收集各种编码的特征字符，根据特征字符判断，就能有很大概率“猜对”。

本文标签： 爬虫乱码解决方法网页python

版权声明：本文标题：python 爬虫 网页乱码问题 解决方法 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1754943261a2744635.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。