利用python爬取有道词典的方法_Python

利用python爬取有道词典的方法

2021-08-11 00:24孤胤 Python

这篇文章主要介绍了python爬取有道词典的方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下

前言

大家好

最近python爬虫有点火啊，啥python爬取马保国视频……我也来凑个热闹，今天我们来试着做个翻译软件……不是不是，说错了，今天我们来试着提交翻译内容并爬取翻译结果

主要内容

材料

1.python 3.8.4

2.电脑一台（应该不至于有”穷苦人家“连一台电脑都没有吧）

3.google浏览器（其他的也行，但我是用的google）

写程序前准备

打开google浏览器，找的有道词典的翻译网页（http://fanyi.youdao.com/）

打开后摁f12打开开发者模式，找network选项卡，点击network选项卡，然后刷新一下网页

然后翻译一段文字，随便啥都行（我用的程序员的传统：hello world），然后点击翻译

在选项卡中找到以translate开头的post文件

利用python爬取有道词典的方法

箭头的地方才是真正的提交地址

记住他，写代码时要用

利用python爬取有道词典的方法

这个是提交电脑的基本信息，记住他，等会儿要用，等会儿伪装成电脑时可以用，因为电脑会有基本信息，而如果是python的话会显示成python3.8.4（因为我的版本是3.8.4），从而容易被服务器禁入

利用python爬取有道词典的方法

等会儿还要用

好，准备工作做完了，接下来开始干正事了

开始编写爬虫代码

下面是我写的代码，具体我就不细说了

				?

									#导入urllib库

									import urllib.request

									import urllib.parse

									import json

									while true: #无限循环

									 content = input("请输入您要翻译的内容(输入 !!! 退出程序): ")

									 #设置退出条件

									 if content == '!!!':

									  break

									 url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' #选择要爬取的网页，上面找过了

									 #加上一个帽子，减少被发现的概率（下面head列表的内容就是上面找的）

									 head = {}

									 head['user - agent'] = '请替换'

									 #伪装计算机提交翻译申请（下面的内容也在在上面有过，最好根据自己的进行修改）

									 data = {}

									 data['type'] = 'auto'

									 data['i'] = content

									 data['doctype'] = 'json'

									 data['version'] = '2.1'

									 data['keyfrom:'] = 'fanyi.web'

									 data['ue'] = 'utf-8'

									 data['typoresult'] = 'true'

									 data = urllib.parse.urlencode(data).encode('utf-8')

									 response = urllib.request.urlopen(url, data)

									 #解码

									 html = response.read().decode('utf-8')

									 paper = json.loads(html)

									 #打印翻译结果

									 print("翻译结果: %s" % (paper['translateresult'][0][0]['tgt']))