admin管理员组

文章数量:1130349

一. 爬取目标

https://maoyan/board/4

二.  爬取分析

1. 电影信息

在页面右键“检查”,查看网页代码

可以发现每一部电影信息都在一个<dd>标签里,那么获取到<dd>标签的内容就可以获取到电影的信息了。

详细看一下<dd>标签中的内容:

由此可以获取到电影的各个信息。

2. 自动翻页

一页显示10部电影,要想爬取到Top100榜所有电影,需要让爬虫程序进行自动翻页。

点击不同页码,观察每一个页码对应的url地址:

第一页:

一. 爬取目标

https://maoyan/board/4

二.  爬取分析

1. 电影信息

在页面右键“检查”,查看网页代码

可以发现每一部电影信息都在一个<dd>标签里,那么获取到<dd>标签的内容就可以获取到电影的信息了。

详细看一下<dd>标签中的内容:

由此可以获取到电影的各个信息。

2. 自动翻页

一页显示10部电影,要想爬取到Top100榜所有电影,需要让爬虫程序进行自动翻页。

点击不同页码,观察每一个页码对应的url地址:

第一页:

本文标签: 爬虫猫眼电影python