Python网络爬虫（八） - 利用有道词典实现一个简单翻译程序1.爬虫前的分析2.Python使用MD5加密字符串3.代码操作基于python3.5

Python攻城狮

发布于 2018-08-23 11:53:11

6110

发布于 2018-08-23 11:53:11

文章被收录于专栏：Python攻城狮Python攻城狮

1.爬虫前的分析

因为要实现有道翻译的翻译功能，就需要找到它的接口，打开审查元素，来到网络监听窗口(Network)，查看API接口。

我们可以找到有道翻译的API接口，同时是以Post方式提交

Data的内容

Form Data i:你好 from:AUTO to:AUTO smartresult:dict client:fanyideskweb salt:1503049820576 sign:f21c50e08db736608d3ec3899678a725 doctype:json version:2.1 keyfrom:fanyi.web action:FY_BY_CLICKBUTTION typoResult:true

通过翻译'你好'和'hellow'的对比查看不同的地方

i：需要进行翻译的字符串，这个地方我们输入的是‘’你好‘’。
salt：当前的时间戳
action： 判断你是按回车提交或者点击按钮提交的方式

通过查看网页源代码的方式查看有道翻译的js文件，来查看salt和sign是怎么生成的。

查看网页源代码找到js文件

找到js文件，然后点击这个文件，跳转到这个源文件中，然后全选所有的代码，复制下来

打开站长工具，把代码格式化

把格式化后的代码，复制下来，用sublime或者pycharm打开都可以，然后搜索salt，找到相关的代码

2.Python使用MD5加密字符串

1. 介于有道翻译使用了MD5加密，就对MD5加密进行了学习

#导入md5加密所需模块
import hashlib

#创建md5对象
m = hashlib.md5()

#生成加密串，其中 password 是要加密的字符串
m.update('password')

#获取加密串
pw = m.hexdigest()
print(pw)
#打印结果
5f4dcc3b5aa765d61d8327deb882cf99

2 . 我们可以写成函数，直接传入要加密的字符串调用即可，由于传入的参数不是字符串会报错，所以应先对参数进行判断

import hashlib
import types

def md5(str):
    if type(str) is types.StringType:
        m = hashlib.md5()   
        m.update(str)
        return m.hexdigest()
    else:
        print(‘您传入的参数不是字符串’)

3.代码操作基于python3.5

# -*- coding:utf-8 -*-

import urllib.request
import urllib.parse
import json
import time
import requests
import hashlib

class YoudaoFanyi:
    def translate(self,key):
        d = key
        m = hashlib.md5()
        u = 'fanyideskweb'  #判断是网页还是客户端
        # 由于网页是用的js的时间戳(毫秒)跟python(秒)的时间戳不在一个级别，所以需要*1000
        f = str(int(time.time()*1000))
        c = "rY0D^0'nM0}g5Mm1z%1G4"
        #根据md5的方式：md5(u + d + f + c)，拼接字符串生成sign参数。
        m.update((u + d + f + c).encode('utf-8'))   #生成加密串
        data= {
            'i':d,
            'from':'AUTO',
            'to':'AUTO',            #判断是自动翻译还是人工翻译
            'smartresult':'dict',
            'client':u,
            'salt':f,               #当前时间戳
            'sign':m.hexdigest(),   #获取加密串
            'doctype':'json',
            'version':'2.1',
            'keyfrom':'fanyi.web',
            'action':'FY_BY_CLICKBUTTION', #判断按回车提交或者点击按钮提交的方式
            'typoResult':'true'
        }

        headers = {
            'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
            'Origin':'http://fanyi.youdao.com/',  #请求头最初是从youdao发起的，Origin只用于post请求
            'Referer':'http://fanyi.youdao.com/', #Referer则用于所有类型的请求
        }
        #print(data)
        #接口
        post = 'http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule&sessionFrom=null'
        youdaojson = requests.post(post,headers = headers,data=data).json()

        #print(youdaojson)

        print('翻译的结果是：%s'%(youdaojson['translateResult'][0][0]['tgt']))
        time.sleep(2)

if __name__== "__main__":
    youdao = YoudaoFanyi()
    while True:
        key =input("请输入你要翻译的文字('quit':退出): ").strip()
        if key=='quit':
            break
        youdao.translate(key)