admin管理员组

文章数量:1130349

最近学了一段时间的Python，想写个爬虫，去网上找了找，然后参考了一下自己写了一个爬取给定页面的爬虫。

Python的第三方库特别强大，提供了两个比较强大的库，一个requests, 另外一个BeautifulSoup，这两个库目前只是会用，其他的还不太了解，网上给了一个BeautifulSoup文档的链接，特别方便，不会的直接查(中文版的)，还有一个关于requests的。

在使用这些第三方库之前要导入

 

import requests
from bs4 import BeautifulSoup

 

 

 

写这个爬虫首先要获得该网页的html代码，然后用BeautifulSoup库进行解析，然后再分析一下腾讯新闻的html结构

这个是获取网页的html，为了方便使用，将它封装成一个函数

 

def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        #r.encoding = 'utf-8'
        return r.text

最近学了一段时间的Python，想写个爬虫，去网上找了找，然后参考了一下自己写了一个爬取给定页面的爬虫。

Python的第三方库特别强大，提供了两个比较强大的库，一个requests, 另外一个BeautifulSoup，这两个库目前只是会用，其他的还不太了解，网上给了一个BeautifulSoup文档的链接，特别方便，不会的直接查(中文版的)，还有一个关于requests的。

在使用这些第三方库之前要导入

 

import requests
from bs4 import BeautifulSoup

 

 

 

写这个爬虫首先要获得该网页的html代码，然后用BeautifulSoup库进行解析，然后再分析一下腾讯新闻的html结构

这个是获取网页的html，为了方便使用，将它封装成一个函数

 

def getHTMLText(url):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status()
        #r.encoding = 'utf-8'
        return r.text

本文标签： 爬虫腾讯内容网络新闻

版权声明：本文标题：Python3.6 写网络爬虫爬取腾讯新闻内容 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1755013711a2752943.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。