python + selenium + PhantomJS 获取腾讯应用宝APP评论

PhantomJS

PhantomJS 是一个基于WebKit的服务器端JavaScript API,它无需浏览器的支持即可实现对Web的支持,且原生支持各种Web标准,如DOM 处理、JavaScript、CSS选择器、JSON、Canvas和可缩放矢量图形SVG。PhantomJS主要是通过JavaScript和 CoffeeScript控制WebKit的CSS选择器、可缩放矢量图形SVG和HTTP网络等各个模块。PhantomJS主要支持Windows、 Mac OS、Linux三个平台,并且提供了对应的二进制安装包。

PhantomJS 的使用场景如下:

  • 无需浏览器的Web测试:无需浏览器的情况下进行快速的Web测试,且支持很多测试框架,如YUI Test、Jasmine、WebDriver、Capybara、QUnit、Mocha等。
  • 页面自动化操作:使用标准的DOM API或一些JavaScript框架(如jQuery)访问和操作Web页面。
  • 屏幕捕获:以编程方式抓起CSS、SVG和Canvas等页面内容,即可实现网络爬虫应用。构建服务端Web图形应用,如截图服务、矢量光栅图应用。
  • 网络监控:自动进行网络性能监控、跟踪页面加载情况以及将相关监控的信息以标准的HAR格式导出。

PhantomJS 已形成了一个功能非常强大的生态圈内容,相关项目如下:

  • CasperJS:一个开源的导航脚本处理和高级测试工具
  • Poltergeist :测试工具Capybara的测试驱动
  • Guard::Jasmine:能够基于Rails实现自动化测试Jasmine的Specs
  • GhostDriver:远程 WebDriver 有线协议的开源实现
  • PhantomRobot:PhantomJS机器人测试框架
  • Mocha-PhantomJS:JavaScript测试框架Mocha的客户端

此 外,生态圈还包括基于PhantomJS实现了众多截屏工具,如capturejs、pageres、phantomjs-screenshots、 manet、screenshot-app等;以及Node.js、Django、PHP、Sinatra等语言的截图API和Confess、 GhostStory、Grover等众多工具。

下载地址:

http://phantomjs.org/download.html

代码样例:

 1 #/usr/bin/env python
 2 # -*- coding: utf-8 -*-
 3 
 4 from selenium import webdriver
 5 import time
 6 import xlsxwriter
 7 import json
 8 
 9 def main(url):
10 
11     driver = webdriver.PhantomJS()
12     driver.get(url)
13     time.sleep(5)
14 
15     with open("./tencent_yyb.json", "wb") as write_obj:
16         try:
17             # numstr = driver.find_elements_by_xpath('//*[@id="J_CommentCount"]')[0].text
18             # num = int(numstr[1:4])
19             flag = True
20             while flag:  # 循环,无法点击“查看更多评论”报错,重置标志位flag完成获取所有内容
21                 try:
22                     driver.find_element_by_id("J_DetCommentShowMoreBtn").click()  # 点击“查看更多评论”
23                     #driver.implicitly_wait(10)
24                     time.sleep(1)
25                 except Exception as err:
26                     print err
27                     flag = False
28 
29             data = driver.find_elements_by_xpath('//*[@id="J_DetDataContainer"]/div/div[8]/ul/li')
30 
31             repeat = {}  # 缓存数据
32             for item in data:
33                 val_list = item.text.split('\n')
34                 if len(val_list) == 3:
35                     ptime = val_list[1].encode("utf-8")
36                     pcontent = val_list[2].encode("utf-8")
37                     if ptime not in repeat.keys():  # 去重
38                         repeat[ptime] = pcontent
39                         write_obj.write("{\"发布时间\":\"" + ptime + "\", \"发布内容\":\"" + pcontent + "\"}\n" )
40                 else:
41                     ptime = val_list[1].encode("utf-8")
42                     pcontent = ' '
43                     if ptime not in repeat.keys():
44                         repeat[ptime] = pcontent
45                         write_obj.write("{\"发布时间\":\"" + ptime + "\", \"发布内容\":\"" + pcontent + "\"}\n" )
46         except Exception as err:
47             print err
48         finally:
49             driver.quit()
50 
51 def get_num(name):
52     jfilename = "./" + name + ".json"
53     count = len(open(jfilename, "rU").readlines()) - 1
54     return count
55 
56 # xls转换写入
57 def w_xls(url, name):
58     perfix = time.strftime('%Y%m%d')
59     xfilename = "./" + name + '_' + perfix + ".xlsx"
60     jfilename = "./" + name + ".json"
61     workbook = xlsxwriter.Workbook(xfilename)
62     worksheet1 = workbook.add_worksheet()
63     lines = int(get_num(name))
64     worksheet1.set_column = ('A:C', lines+1)
65     worksheet1.write('A1', 'URL')
66     worksheet1.write('B1', u'发布时间')
67     worksheet1.write('C1', u'发布内容')
68 
69     row = 1
70     with open(jfilename, "r") as obj_read:
71         for line in obj_read.readlines():
72             data = json.loads(line)
73             worksheet1.write(row, 0, url)
74             worksheet1.write(row, 1, data[u'发布时间'])
75             worksheet1.write(row, 2, data[u'发布内容'])
76             row += 1
77 
78 
79 if __name__ == '__main__':
80 
81     url = ''
82 
83     main(url)
84     time.sleep(3)
85     w_xls(url, "tencent_yyb")

原文发布于微信公众号 - 大数据挖掘DT数据分析(datadw)

原文发表时间:2017-08-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏技术博客

ExtJs七(ExtJs Mvc创建ViewPort)

在4.1的时候,要先创建一个扩展于Ext.app.Application的类,然后用create创建它的实例来开始应用程序的。而在4.1.1,则可直接调用app...

15740
来自专栏挖坑填坑

Angular练习

1、安装node.js(其自带npm) 2、安装angular/cli 3、使用angular/cli构建项目参考这篇文章

13550
来自专栏小樱的经验随笔

基于Windows下python3.4.1IDLE常用快捷键小结

安装IDLE后鼠标右键点击*.py 文件,可以看到Edit with IDLE 选择这个可以直接打开编辑器。 IDLE默认不能显示行号,使用ALT+G 跳到对应...

44460
来自专栏codelang

react-native之undefined is not an object

17140
来自专栏王磊的博客

水印生成器第2版[原图质量水印可自定义设置]

简介:水印生成器,原理很简单,一时在网上没有找到打水印的网站,自己便做了一个,效果如下图,可自定义字体大小、字体类型以及颜色。 开发环境:vs 2010 [ne...

38590
来自专栏从零开始学自动化测试

Selenium2+python自动化46-js解决click失效问题

前言 有时候元素明明已经找到了,运行也没报错,点击后页面没任何反应。这种问题遇到了,是比较头疼的,因为没任何报错,只是click事件失效了。 本篇用2种方法解决...

32760
来自专栏全栈之路

css 关于图片上显示文字

图片上显示文字,现在有很多主流的方法,最常用的就是position设置为relative或者absolute。

39450
来自专栏前端人人

React第三方组件4(状态管理之Reflux的使用①简单使用)

本教程总共5篇,每日更新一篇,请关注我们!你可以进入历史消息查看以往文章,也敬请期待我们的新文章! 1、React第三方组件4(状态管理之Reflux的使用①...

34080
来自专栏从零开始学自动化测试

Selenium2+python自动化29-js处理多窗口

前言 在打开页面上链接的时候,经常会弹出另外一个窗口(多窗口情况前面这篇有讲解:Selenium2+python自动化13-多窗口、句柄(handle)),这样...

33340
来自专栏老司机的简书

关于自定义modal的转场动画

然后在目标控制器中设置遵循UIViewControllerTransitionIngDelegate协议。

20230

扫码关注云+社区

领取腾讯云代金券