python---爬取某鱼直播

sjw1998

发布于 2019-09-28 12:44:51

1.1K1

发布于 2019-09-28 12:44:51

文章被收录于专栏：孤独的S

用了selenium，才深刻的体会到它的好处，更加的方便更加的快捷，更容易的获取网页的信息。

这里用selenium爬取某鱼直播下面的前五页的直播间信息，例如直播房间名，主播名，直播热度，以及直播的类别。即图片红色下横线的东西。首先进入斗鱼的页面，选择直播，接着复制url备用，然后就按F12去分析

做爬虫的步骤还是那样，先去原网页的地址找到数据的位置，接着提取出需要的数据，在整理起来，保存起来。

这里我获取的只有前5页的直播间信息。当然可以获取更多的内容。做爬虫只是为了方便统计以及数据的可视化，便于学习和观察，并不能做什么非法操作。主要目的都是为了学习。

用selenium爬取网页的坑就只有一两个：

第一：获取url后，需要等待个几秒，让网页充分缓冲之后才去提取网页的数据，这样才能提取到数据，否则就是一个框架，并不能得到有用的消息。

第二，如果要实现换页功能的话，需要将解析网页的语句也放入循环，不然也会报错

第三，就是用selenium的时候一定要匹配好单引号和双引号，在python的习惯下，字符串就一般使用单引号去用，而网页的数据是双引号的话也提取不到数据。

第四，换页操作的时候，选择正确的class名字至关重要

如果用浏览器的f12的选择的功能，他会定位到这里黑色下划线的地方，但是要实现换行要选择红色下划线的class名，才能实现。

关于用selenium去爬取的东西也没其他的了，详细的操作可以去这里看

python-- 爬虫之用Selenium做爬虫

下面贴一下代码，代码仅供参考，如若有错，欢迎指出：

from selenium import webdriver
import time

path = '这里是你的selenium的驱动的地址'
url = 'https://www.douyu.com/directory/all'
browser = webdriver.Chrome(executable_path=path)
browser.maximize_window()
browser.get(url)
time.sleep(10)

allzhibo = []

nnum = 0
page = 0
while page<1:
    li_list = browser.find_elements_by_xpath('//ul[@class="layout-Cover-list"]/li')
    num = 0
for i in li_list:
        zhibo = {}
        if num >=10:
            zhibo['数目'] = nnum
            num+=1
nnum+=1
zhibo['直播房间名'] = i.find_element_by_class_name("DyListCover-intro").text
            zhibo['主播'] = i.find_element_by_class_name("DyListCover-user").text
            zhibo['直播热度'] = i.find_element_by_class_name("DyListCover-hot").text
            zhibo['分类'] = i.find_element_by_class_name("DyListCover-zone").text
            allzhibo.append(zhibo)
        else:
            num+=1
    nextpage = browser.find_element_by_class_name("dy-Pagination-next")
    nextpage.click()
    page+=1
time.sleep(10)
#这里实现的是将数据保存到文本里去
with open('某鱼直播.txt','w',encoding='utf-8') as f:
    for i in allzhibo:
        for j in i.keys():
            print(j+':'+str(i[j])+' ')
            f.write(j+':'+str(i[j])+' ')
        f.write('\n')
browser.close()

最后得到结果就是这样的：