首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python+selenium+requests爬取我的博客粉丝的名称

一、爬取目标 1.本次代码是在python2上运行通过的,python3不保证,其它python模块 - selenium 2.53.6 +firefox 44 - BeautifulSoup - requests...我的博客:[https://home.cnblogs.com/u/yoyoketang](https://home.cnblogs.com/u/yoyoketang) 爬取内容:爬我的博客的所有粉丝的名称...二、selenium获取cookies 1.大前提:先手工操作浏览器,登录我的博客,并记住密码 (保证关掉浏览器后,下次打开浏览器访问我的博客时候是登录状态) 2.selenium默认启动浏览器是一个空的配置...for i in cookies: c.set(i["name"], i['value']) s.cookies.update(c) # 更新session里cookies 四、计算粉丝数分页总数...print u"获取粉丝页数报错了,默认返回数量1 :%s"%str(msg) return 1 def save_name(nub): '''抓取页面的粉丝名称

90840
您找到你想要的搜索结果了吗?
是的
没有找到

Python的in,isid函数代码实例

is cc: print('bb is cc') #结果是 bb is cc else: print('bb is not cc') print(id(bb)) # id()值一样,因为python...print(id(cc)) # 相同 bb = 'hhh' cc = 'hhh' if bb is cc: print('bb is cc') #同样也是因为python的自身机制,在某些'字符'...在python中: int,string,float,tuple —— 属于python的不可变类型 object、list、set —— 属于python的可变类型 使用:可以使用内建函数id()来确认对象的地址在两次赋值前后是否发生了变化...例如:分别对于数值列表类型: a = 1 print(id(a)) a = a+1 #a本身发生变化 print(id(a)) # 结果分别为:140732932812544 140732932812576...# 结果分别为:1680347029768 1680347029768,表示id没有变化 以上就是本文的全部内容,希望对大家的学习有所帮助。

73330

解读小程序的新能力---获取群ID名称等群信息

5月8日微信小程序有公布了一个新功能:获取群ID名称等群信息,官方有一句话是这么介绍它的用处的: 现在,通过最新的接口能力,开发者可以通过群ID判断用户是否来自同一个微信群,同一个群内的用户之间可以更好地使用小程序进行协作...第二步.在需要获取群信息(id或者群名称)的地方执行getShareInfo方法,并把shareTicket传进去 ?...,这样才能获取群ID,具体解密方法可以参考 https://mp.weixin.qq.com/debug/wxadoc/dev/api/signature.html 说完用法,我们来用扯扯这东西有什么用处...在这能力出现前,我们要做协同合作类的小程序应用的话,往往遵循的程序设计思路是: 新建一个事件(具备了一个唯一id)->传播一个带有这个id的小程序落地页->打开这个落地页即可参与协同合作 显然,在某些严谨的协助交互里...其实这个能力就是一个微信群小程序巧妙地共享权限的方式,把“发小程序到微信群”这一交互变成“发小程序到微信群,并把该微信群的所有成员加到小程序的协同这白名单里”。 牛吗?

3.2K60

使用PythonChrome安装Selenium WebDriver

WebDriver标准的最受欢迎的实现是Selenium WebDriver,它是免费开放源代码。 WebDriver具有多个组件: 语言绑定。...诸如Selenium WebDriver之类的软件包为浏览器交互 提供了编程语言绑定。Selenium支持主要语言,例如C#,Java,JavaScript,RubyPython。 自动化代码。...安装Selenium WebDriver 对于我们的测试项目,我们将Selenium WebDriver的Python绑定与Google ChromeChromeDriver结合使用。...然后,将Pythonselenium软件包安装到我们的环境中: $ pipenv install selenium --dev 现在,机器应该可以进行网络测试了!...新测试 在名为的目录下创建一个新的Python模块。这个新模块将保存我们的Web UI测试。

3.6K00

《手把手教你》系列练习篇之5-python+ selenium自动化测试(详细教程)

本来想还是继续采用for语句来把所有的复选框勾选一遍,例如这样的场景:注册一个网站勾选身份或者职业的时候,由于没有找到合适的demo网站。...获取某一个元素的text属性值   本小节介绍如何通过Selenium方法来获取某一个元素的text属性值。在很多自动化测试脚本中,需要多次获取元素的text值,拿过来进行对比匹配。...例如,在一个登陆界面,如果不输入用户名密码,直接点击登录,肯定会有相关错误提醒。这个错误,我们需 要通过selenium抓取出来,需求说明文档中的描述去进行匹配,如果匹配,测试成功,否则失败。...需要通过Selenium脚本去自动判断是否显示错误文字“请您填写手机/邮箱/用户名”,前边已经定位到这个页面,这里就不再赘述了,这里需要定位“登录”按钮,定位text的属性值。...//*[@id='TANGRAM__PSP_10__footerULoginBtn']").click() #点击登录页面的“登录”按钮 driver.find_element_by_xpath(".

2.1K30

只会用Selenium爬网页?Appium爬App了解一下

我使用的是小米Note顶配版,所以此处名称为MI_NOTE_Pro。 如果提示找不到adb命令,请检查Android开发环境环境变量是否配置成功。...例如,我们点击录制按钮,然后选中App中的登录按钮,点击Tap操作,即模拟了按钮点击功能,这时手机窗口的App都会跳转到登录页面,同时中间栏会显示此动作对应的代码,如下图所示。 ?...我们可以在此页面点击不同的动作按钮,即可实现对App的控制,同时Recorder部分也可以生成对应的Python代码。 下面我们看看使用Python代码驱动App的方法。...但是现在仅仅是可以启动App,还没有做任何动作。 再用代码来模拟刚才演示的两个动作:一个是点击“登录”按钮,一个是输入手机号。...包名入口类的名称可以在安装包中的AndroidManifest.xml文件获取。

9.1K61

python中常用到的模块名称

1 paramiko  (基于openssh,python封装的ssh) 模块python自带 用法: import paramiko                                          ...python自带模块 使用在python 3中取代python 2 中的commands模块 参考:http://www.jb51.net/article/48086.htm 常用fork子进程执行shell...命令,可以返回结果返回值 举例: 只需要返回值 In [6]: retcode = subprocess.call('ls -l', shell=True) total 12 -rw-rw-r--. ...2中) python自带模块  status,output = commands.getstatusoutput('cat /etc/passwd') 优点: 无论命令执行错误与正确,正确输出错误输出都以字符串原样的字符串形式传递给...uuid 常用: uuid1函数,通过mac时间戳生成全球唯一的id In [49]: uuid.uuid1() Out[49]: UUID('cbb8c051-0929-11e6-9ba3-8c2937eebf3a

1.3K20

Python+Selenium笔记(七):WebDriverWebElement

(一)  WebDriver WebDriver提供许多用来与浏览器交互的功能设置,通过WebDriver的功能一些方法,来实现与浏览器窗口、警告、框架弹出窗口的交互,它也提供了自动化操作浏览器导航栏...、单选框、多选框、表格、行、列div等。...、文本框、复选框、单选按钮 通过WebElement实现与各种HTML控件的自动化交互,例如在一个文本框输入文本、单击按钮、选择单选框或者复选框、获取元素的文本及属性值等。...例如,博客园注册功能的自动化: (这里只是举个例子哈,直接复制是没用的,下面的代码只定位部分字段(邮箱、登录名注册按钮),而且没有处理验证码,验证码部分以后再研究怎么处理) 1 def test_register_new_user...16 17 user_email = self.driver.find_element_by_id('Email') 18 19 user_login_name = self.driver.find_element_by_id

1.9K50

使用SeleniumPython进行表单自动填充提交

是时候让技术来帮助我们解放双手了这次我将向你展示如何使用SeleniumPython来自动填充提交表单,让你摆脱了这种无聊的重复劳动。准备好了吗?让我们开始吧!...结合这两者,我们可以实现自动填充提交表单的目标。其次,我们的目标是编写一个Python脚本,使用Selenium库来自动填充提交表单。...但是,别担心,我们可以用 Selenium Python 来解决这个问题。首先,我们需要安装Selenium库。...假设提交按钮id是“submit”,我们可以使用以下代码来点击它:driver.find_element_by_id("submit").click()在填写提交表单的过程中,可能会遇到一些威胁。...")driver.find_element_by_id("submit").click()# 关闭浏览器driver.quit()通过使用SeleniumPython,我们可以轻松地实现表单自动填充提交的功能

50530

《手把手教你》系列练习篇之3-python+ selenium自动化测试(详细教程)

''' Created on 2019-11-29 @author: 北京-宏哥 QQ交流群:705269076 Project: python+ selenium自动化测试练习篇3 ''' #...总结:如果一开始没有接触css,感觉写css表达式有点困难,没关系。看个人喜好适合哪个,例如,如果你掌握好了XPath的写法,那么就可以不去管css,毕竟大部分xpath表达式都能够定位到元素。...清除文本方法   在前面的文章中,我们或多或少的用到了输入字符点击按钮这样的操作。用send_keys()来输入字符串到文本输入框这样的页面元素,用click()来点击页面上支持点击的元素。...''' Created on 2019-12-02 @author: 北京-宏哥 QQ交流群:705269076 Project: python+ selenium自动化测试练习篇3 ''' #...(6) driver.get("https://www.baidu.com") driver.find_element_by_id("kw").send_keys("Selenium") try:

1.1K30

🔥《手把手教你》系列基础篇之3-python+ selenium自动化测试-驱动浏览器元素定位大法(详细)

''' Created on 2019-11-26 @author: 北京-宏哥 QQ交流群:705269076 Project: python+ selenium-驱动浏览器元素定位大法 '''...''' Created on 2019-11-26 @author: 北京-宏哥 QQ交流群:705269076 Project: python+ selenium-驱动浏览器元素定位大法 '''...是唯一的,所以一次定位多个元素是没有办法通过id进行定位的。...有时候一个元素并没有 id 或 name 属性,或者会有多个元素的 id name 属性值是一样的,又或者每一次刷新页面,id 的值都会随机变化。那么在这种情况下我们如何来定位元素呢?...小结   好了,今天python+ selenium-驱动浏览器元素定位大法就分享到这里。

92240

Selenium自动化|爬取公众号全部文章,就是这么简单

大家好,今天我们来讲点Selenium自动化,你是否有特别喜欢的公众号?你有思考过如何将一个公众号历史文章全部文章爬下来学习吗?现在我们以早起Python为例,使用Selenium来实现 ?...需求分析代码实现 需求很明确:获取早起Python公众号全部推文的标题、日期、链接。如果要获取公众号的相关信息,有一个很好途径是通过搜狗微信检索。...因此从这里开始,代码的执行逻辑为: 先遍历前10页100个文章的公众号名字,如果不是“早起Python”则跳过,是则获取对应的标题名字、发布日期链接 第10页遍历完成后自动点击登录,此时人为扫码确定登录...代码检测登录是否完成(可以简化为识别“下一页”按钮是否出现),如果登录完成则继续从11页遍历到最后一页(没有“下一页”按钮) 由于涉及两次遍历则可以将解析信息包装成函数 num = 0 def get_news...如果对本次selenium自动化感兴趣的化可以在后台回复:selenium获取源码,只需修改对应公众号名称就可以使用啦,拜拜~ 注1:Selenium浏览器自动化需要依赖ChromeDriver,详细的配置请自行查询

2.2K20

Python 基于 selenium 实现不同商城的商品价格差异分析系统

本程序仅为探研 selenium 的奇妙之处,感受其王者风范,没有在程序结构界面上费心力。 使用 selenium 摸拟用户打开京东苏宁易购首页。 为什么选择京东苏宁易,而不选择淘宝?...因为这 2 个网站使用搜索功能时没有登录验证需要,可简化本程序代码。 使用 selenium 在首页的文本搜索框中自动输入商品关键字,然后自动触发搜索按钮的点击事件,进入商品列表页面。...使用 selenium 分析、爬取不同商城中商品列表页面中的商品名称价格数据。 对商品的价格数据做简单分析后,使用 CSV 模块以文件方式保存。...安装: seleniumpython 第三库,使用前要安装,安装细节就没必要在此多费笔墨。...再把商品名称价格数据制成字典,并对价格数据做简单分析。

1.6K20

《手把手教你》系列基础篇之3-python+ selenium自动化测试-驱动浏览器元素定位大法

''' Created on 2019-11-26 @author: 北京-宏哥 QQ交流群:705269076 Project: python+ selenium-驱动浏览器元素定位大法 '''...''' Created on 2019-11-26 @author: 北京-宏哥 QQ交流群:705269076 Project: python+ selenium-驱动浏览器元素定位大法 '''...是唯一的,所以一次定位多个元素是没有办法通过id进行定位的。...有时候一个元素并没有 id 或 name 属性,或者会有多个元素的 id name 属性值是一样的,又或者每一次刷新页面,id 的值都会随机变化。那么在这种情况下我们如何来定位元素呢?...小结  好了,今天python+ selenium-驱动浏览器元素定位大法就分享到这里。

95840
领券