admin管理员组文章数量:1130349
大家一起进步吧！感谢大家的支持和关注
爬虫目录
- 爬虫目录
- 体验搜狗在线翻译
来句废话：你要带着点知识来学知识
-
html -
jQuery -
python基础语法
爬虫目录
体验搜狗在线翻译
import requests
# 请求参数动态化
keyword = input('请输入关键字:')
# 稍后想要把该字典作为请求参数
prams = {
'query': keyword, # 只存在一个键值对（存在一组请求参数）
}
headers = { #存放需要伪装的头信息
"User-Agent":"Mozilla/5.0 (Windows NT 11.0; Win64; x64)"
}
# 1.指定url
url = 'https://fanyi.sogou/text' # 需要将请求参数去除
# 2.发起请求
# params参数就是用来在请求时携带指定的请求参数
response = requests.get(url=url, params=prams,headers=headers)
# 3.获取响应数据
page_text = response.text
# 4.持久化存储 注意加编码形式，文件是保存在当前目录下的，打开就是我们输入内容的翻译页面
fileName = keyword + '.html'
with open(fileName, 'w',encoding="utf-8") as fp:
fp.write(page_text)
# 出问题：没有爬取到我们想要的数据？原因是因为遇到反爬机制
# 模拟浏览器发起 加UA
请背上你的行囊-->出发
-
动态查询参数 - 反扒机制—>
模拟浏览器UA伪装
看到这,相信大家已经有所收获,下面还请再接再厉，大家有什么好的建议还请评论留言,小编也会不断的完善自身的缺陷。
大家一起进步吧！感谢大家的支持和关注
爬虫目录
- 爬虫目录
- 体验搜狗在线翻译
来句废话：你要带着点知识来学知识
-
html -
jQuery -
python基础语法
爬虫目录
体验搜狗在线翻译
import requests
# 请求参数动态化
keyword = input('请输入关键字:')
# 稍后想要把该字典作为请求参数
prams = {
'query': keyword, # 只存在一个键值对（存在一组请求参数）
}
headers = { #存放需要伪装的头信息
"User-Agent":"Mozilla/5.0 (Windows NT 11.0; Win64; x64)"
}
# 1.指定url
url = 'https://fanyi.sogou/text' # 需要将请求参数去除
# 2.发起请求
# params参数就是用来在请求时携带指定的请求参数
response = requests.get(url=url, params=prams,headers=headers)
# 3.获取响应数据
page_text = response.text
# 4.持久化存储 注意加编码形式，文件是保存在当前目录下的，打开就是我们输入内容的翻译页面
fileName = keyword + '.html'
with open(fileName, 'w',encoding="utf-8") as fp:
fp.write(page_text)
# 出问题：没有爬取到我们想要的数据？原因是因为遇到反爬机制
# 模拟浏览器发起 加UA
请背上你的行囊-->出发
-
动态查询参数 - 反扒机制—>
模拟浏览器UA伪装
看到这,相信大家已经有所收获,下面还请再接再厉，大家有什么好的建议还请评论留言,小编也会不断的完善自身的缺陷。
版权声明：本文标题：爬虫之体验搜狗在线翻译 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://it.en369.cn/jiaocheng/1754783783a2727914.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论