首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Python爬虫:使用Python动态爬取冯大辉老师微博,再用词云分析

Python爬虫:使用Python动态爬取冯大辉老师微博,再用词云分析

作者头像
龙哥
发布2018-10-22 14:21:19
7820
发布2018-10-22 14:21:19
举报
文章被收录于专栏:Python绿色通道Python绿色通道

冯大辉老师在程序员圈子中还是比较出名的,大部分都知道他这个人,性格很鲜明。他现在正在创业,公司叫无码科技,他有一个公众号叫小道消息,新榜给的活跃粉丝是30多万数据,他的微博有180万粉,这说明冯老师在科技界还是很有影响力的。

事情是这样的,上周的一天公众号又照例收到了大辉老师的文章,我就在他的文章底下留言了,说要爬爬他的文章。

这是我用冯老师最近5000多条微博内容做的词云,大家可以围观一下。

之前也写了一篇用python 来爬取朋友的QQ说说,大家也可以围观一下

Python爬虫:动态爬取QQ说说并生成词云,分析朋友状况

好了,开始进入正题:

#coding:utf-8

"""
爬取冯大辉老师的微博
代码都在github上:https://github.com/pythonchannel

"""


import time
from selenium import webdriver
from lxml import etree
import word_cloud_py as wcp
import sys


reload(sys)
#这里需要指定字符编码
sys.setdefaultencoding( "utf-8" )

def get_content(f_name):

    #你的微博帐号
    username = 'xxxx'
    psd = 'xxxx'

    #获取浏览器驱动
    driver = webdriver.Firefox()

    # 浏览器窗口最大化
    driver.maximize_window()

    driver.get('http://weibo.com/login.php')
    print('login............................')

    #给登录框与密码赋值
    driver.find_element_by_id('loginname').send_keys(username)
    driver.find_element_by_class_name('password').find_element_by_name('password').send_keys(psd)

    #点击登录按钮
    driver.find_element_by_xpath('//*[@id="pl_login_form"]/div/div[3]/div[6]/a/span').click()

    # 这里因为登录,需要有一个延时,不能直接切换到新网页去
    time.sleep(3)

    # 登录成功后,再用浏览器地址定向到大辉老师的微博列表页,没有什么技巧,自己去找的
    driver.get("https://weibo.com/p/1005051577826897/home?from=page_100505_profile&wvr=6&mod=data&is_all=1#place")

    while True:
            # 下拉滚动条,从1开始到3结束 分2次加载完每页数据
            for i in range(1,6):
                height = 20000*i#每次滑动20000像素
                strWord = "window.scrollBy(0,"+str(height)+")"
                driver.execute_script(strWord)
                time.sleep(4)

            selector = etree.HTML(driver.page_source)
            divs = selector.xpath('//*[@id="Pl_Official_MyProfileFeed__22"]/div/div/div[1]/div[4]')

          #  mode =a 不清空连续写入
            with open('{}.txt'.format(f_name),'a') as f:
                for div in divs:
                    wb_content = div.xpath('./div[3]/text()')
                    wb_time = div.xpath('./div[2]/a/text()')
                    wb_content = wb_content[0] if len(wb_content) > 0 else ''
                    wb_time = wb_time[0] if len(wb_time) > 0 else ''
                    wb_content = wb_content.strip()  # 去掉左右两边的空格
                    wb_time = wb_time.strip()
                    print wb_content, wb_time
                    f.write(wb_content+'\n')

            #分析得知当为最后一页时,最后的page next S_txt1 S_line1不见了
            if driver.page_source.find('page next S_txt1 S_line1') == -1:
                print '没有下一页了'
                break

            # 找到“下一页”的按钮元素,原本想用xpath与classname,都失败了
            # 这里我是用css来定位的,page next S_txt1 S_line1 在空格之间加'.' 来连接
            submit = driver.find_element_by_css_selector('.page.next.S_txt1.S_line1')
            submit.click()

if __name__ == '__main__':
    f_name = 'ddddd'
    get_content(f_name)
    wcp.create_word_cloud(f_name)

特别注意一下,生成词云的代码在github上word_cloud_py文件中,调用方法就行了。

其它补充的文字也没有什么要说的,注释都在代码中,接下来要使用Scrapy爬虫框架了,虽然快过年了,但学习还是不能停下来。

本文参与 腾讯云自媒体分享计划,分享自微信公众号。
原始发表:2018-02-05,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 Python绿色通道 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档