admin管理员组

文章数量:1130349

一、实验要求

本次实验主要考察大家的编程能力及子域名的信息收集方法,在文件 夹“Lab1_code”提供了使用 Bing 搜索引擎的域名收集功能。请对该 代码进行扩展,使其可支持百度搜索引擎的域名收集功能。需要实现 如下功能:

  1. 支持百度搜索引擎的域名提取,其中从百度搜索引擎提取的域名 需为真实域名,而非百度的域名跳转链接;
  2. 可扩充其他功能,比如域名所在的标题等信息。

二、实验步骤

  1. 导入模块,分别用来请求网页、处理获取的到的网页源码数据、用于处理url
import requests                          #用于请求网页
from bs4 import BeautifulSoup            #用于处理获取的到的网页源码数据
from urllib.parse import urlparse        #用于处理url
  1. 定义采用百度搜索引擎,同时定义空列表、请求头与请求url
def baidu_search():
    Subdomain = []           #定义一个空列表用于存储收集到的子域名
    #定义请求头,绕过反爬机制
    hearders = {
   
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.3

一、实验要求

本次实验主要考察大家的编程能力及子域名的信息收集方法,在文件 夹“Lab1_code”提供了使用 Bing 搜索引擎的域名收集功能。请对该 代码进行扩展,使其可支持百度搜索引擎的域名收集功能。需要实现 如下功能:

  1. 支持百度搜索引擎的域名提取,其中从百度搜索引擎提取的域名 需为真实域名,而非百度的域名跳转链接;
  2. 可扩充其他功能,比如域名所在的标题等信息。

二、实验步骤

  1. 导入模块,分别用来请求网页、处理获取的到的网页源码数据、用于处理url
import requests                          #用于请求网页
from bs4 import BeautifulSoup            #用于处理获取的到的网页源码数据
from urllib.parse import urlparse        #用于处理url
  1. 定义采用百度搜索引擎,同时定义空列表、请求头与请求url
def baidu_search():
    Subdomain = []           #定义一个空列表用于存储收集到的子域名
    #定义请求头,绕过反爬机制
    hearders = {
   
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.3

本文标签: 攻防域名技术网络信息