爬虫百战穿山甲（1）有道翻译爬虫

看、未来

发布于 2021-09-18 10:41:52

2980

发布于 2021-09-18 10:41:52

文章被收录于专栏：CSDN搜“看，未来”

文章目录

系列简介

将我的“爬虫百战穿山甲”团队平时做的项目放到这个专栏里吧，仅供学习研究使用，如有侵权，私信我删除，不得转载

本系列不多废话，小白入门爬虫可以先看一下我的另一个专栏：点击进入：从零开始，学会Python爬虫不再难！！！

里面有十一篇教程，带四个项目。

分析网页

点此蓝字打开：有道翻译

直奔主题：

直接打开网络传输板块，选择“XHR”。

输入测试单词，比如说：hello，发现两个包，但是不知道有什么不一样的，就拿一个就好了：

拿下那个网址：https://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule，这个网页打开是被锁的。根据前辈的经验，把translate后面的_o去掉。

去掉之后，会发现打开的页面依旧还是有道，这是什么原因呢？我们再看一下：

感受到了吗？这是一个post请求的包。我们直接打开这个网址，没有进行post提交，自然是没有反应的。

既然如此，那我们就找form data吧，看看要提交什么数据上去：

判断一下，这个 i 就是待查询的数据，from 是 i 的语言，to 是目标语言，默认是英语。至于有道上有多少中语种支持，它们的代号分别是什么，自行想办法。（不要设自动检测就行。）

剩下那些，salt时间戳，我讲过的，上面推荐的那个专栏里面也会有。 sign，md5的码，事实证明要不要自己写都行，大不了就直接去复制一个。时间戳也是。无所谓的。

讲解到此，上代码：

代码实现

import urllib.request
import requests
import urllib.parse
import json
import time	# 做时间戳的
import random	# 为做时间戳提供随机值
import hashlib	# md5所用

content = input('请输入需要翻译的内容：')
from_s = input("请输入待翻译的语种，中文请输入ZH,英文请输入EN：")
to_s = input("请输入目标语种，中文请输入ZH,英文请输入EN：")

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
data = {}

u = 'fanyideskweb'
d = content
f = str(int(time.time() * 1000) + random.randint(1, 10))
c = 'rY0D^0\'nM0}g5Mm1z%1G4'

sign = hashlib.md5((u + d + f + c).encode('utf-8')).hexdigest()

data['i'] = content
data['from'] = from_s
data['to'] = to_s
data['smartresult'] = 'dict'
data['client'] = 'fanyideskweb'
data['salt'] = f
data['sign'] = sign
data['doctype'] = 'json'
data['version'] = '2.1'
data['keyfrom'] = 'fanyi.web'
data['action'] = 'FY_BY_CL1CKBUTTON'
data['typoResult'] = 'true'

data = urllib.parse.urlencode(data).encode('utf-8')

res = requests.post(url,data=data)
request = urllib.request.Request(url=url, data=data, method='POST')
response = urllib.request.urlopen(request)

pre_js = response.read().decode('utf-8')

a = pre_js.split('[[')
b = a[1].split(']]')
c = b[0]

j = json.loads(c)

print(j['tgt'])