自动化收邮件

公众号guangcity

发布于 2019-09-20 11:36:22

5940

发布于 2019-09-20 11:36:22

文章被收录于专栏：光城(guangcity)光城(guangcity)

自动化收取你的163邮箱信息

【今日知图】

行数移动

gg  英文单词go 文件顶部
G   文件末尾
数字gg 移动到数字对应行数
数字G 移动到数字对应行数
:数字 移动到数字对应行数

0.说在前面1.模拟登陆2.收件箱信息3.结果展示4.作者的话

0.说在前面

【需求】

由于需求，我最近自己搞了两个大项目，哈哈，开个玩笑，比较小~~

需求一：对知乎所有评论进行可视化及知识图谱建立，利用机器学习基神经网络训练知识图谱，进一步的增强用户的联系，扩充实体关联，这个就比较难了，还在进行时，哈哈~~

需求二：就是大家看到的标题，163邮箱问题，我想下载我邮箱里面的所有数据，比如收件箱的信息及附件等。今天分享163邮箱模拟登录及收件箱信息爬取~~

【吐槽】

这两天特别累，事情特别多~~还是坚持给各位发文章，保证每日一篇

不管怎么样，还是坚持下去！

【技术点】

采用selenium模拟登录，利用xpath提取数据~~

下面我们一起来看163问题~~

1.模拟登陆

分析

如下图所示，我们先来定位一下，登录的基本信息~

当我们第一次打开这个页面的时候，iframe是刷新以后才可以登录，所以必须得等它动态加载完毕，才可以~

封装

初始化，我们定义了三个list分别存储，邮件标题，收件箱的信息来自于某位用户，以及邮件时间。

    def __init__(self):
        # 调用Chrome Driver登陆163邮箱
        driver = webdriver.Chrome()
        self.driver = driver
        title_list = []
        sender_list = []
        time_list = []
        self.title_list = title_list
        self.sender_list = sender_list
        self.time_list = time_list

模拟登陆

如下图定位：

    def login(self):
        # 等待页面完全加载
        self.driver.implicitly_wait(15)
        self.driver.get('http://mail.163.com/')
        # 因为163登录入口在iframe里面，所以先要切换到iframe
        frame = self.driver.find_element_by_xpath('//iframe[starts-with(@id,"x-URS-iframe")]')
        self.driver.switch_to.frame(frame)
        # 使用driver将账号密码填进表单并提交
        # 填入用户名及密码
        self.driver.find_element_by_xpath("//input[@name='email']").send_keys('xxx@163.com')
        self.driver.find_element_by_xpath("//input[@name='password']").send_keys('xxxx')
        self.driver.find_element_by_id('dologin').click()
        return self.driver

2.收件箱信息

数据抽取

这里将数据进行抽取，提取出标题，邮件来自，时间，如下图：

    def page_Info(self,html):
        selector = etree.HTML(html)
        text = selector.xpath('//div[@sign="letter"]/@aria-label')
        print(text)
        for each_text in text:
            print(each_text)
            email_title = each_text.split('发件人 ：')[0].strip()
            self.title_list.append(email_title)
            print(email_title)
            email_sender = each_text.split('发件人 ：')[1].split('时间：')[0].strip()
            self.sender_list.append(email_sender)
            print(email_sender)
            email_time = each_text.split('发件人 ：')[1].split('时间：')[1].strip()
            self.time_list.append(email_time)
            print(email_time)
            print(self.title_list)
            print(self.sender_list)
            print(self.time_list)

单页面处理

首先进行登录，登陆后，让页面刷新完成后，所以这里设置了10秒后爬起，定位到收件箱，进行自动化点击，调用上述方法进行爬取！

同时可以在当前页获取总页面数！如下图所示，1/2通过取出最后一个数字便为总页面数！

    def process_Info(self):
        driver = self.login()
        time.sleep(10)
        driver.switch_to.default_content()
        # 点击收件箱按钮加载邮件列表
        driver.find_element_by_id('_mail_component_67_67').click()
        time.sleep(5)
        driver.switch_to.default_content()
        # 获取总的翻页数
        sum_page = int(driver.find_element_by_class_name('nui-select-text').text.split('/')[-1])
        print('总页数为 ' + str(sum_page) + "页")
        html = driver.page_source
        print(html)
        self.page_Info(html)

多页面数

还是上述那个页面，我们可以定位到下一页的标签，进行自动化点击，抓取下一页数据即可！

for i in range(1,sum_page):
    time.sleep(7)
    driver.switch_to.default_content()
    # 点击下一页按钮加载邮件列表
    email_ext = driver.find_element_by_class_name('nui-toolbar-ext')
    email_ext = email_ext.find_elements_by_class_name('nui-toolbar-item')[-2]
    email_ext = email_ext.find_elements_by_tag_name('div')[-1]
    email_ext.click()
    time.sleep(7)
    driver.switch_to.default_content()
    html = driver.page_source
    print(html)
    self.page_Info(html)