首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

python模拟新浪登陆功能(新浪爬虫)

首先我们查看登陆页面源码 ?...由于要用的一部分数据用API获取不方便, 所以还是要自己写个小爬虫, 模拟登录是必不可少的。琢磨了一下这个东西,最终登录成功。...接下来再请求这个URL,这样就成功登录到了。 记得要提前build 缓存。 下面是完整代码(没加注释,凑合看吧): #!...很多豆友反馈有模拟登录新浪抓取数据的需求,其实对于一般的数据获取,如用户信息、内容等,使用开放平台API是更明智的选择:速度更快,而且节省许多网页处理的功夫。...熟悉Web的朋友只要定期维护模拟登录的代码就可以一直成功登录。如果不那么熟悉的话,其实可以采用更naive的思路来解决:直接将Cookie发送给新浪以实现模拟登录。

3.1K60

用Python模拟登陆

前言 最近在研究模拟登陆,看了很多教程,发现基本上都是只教怎么处理后就能登陆成功,没有讲解怎样得到处理的方法。经过的一天的研究,把模拟登陆基本上弄清楚了,下面就把过程详细说明。...弄清楚所需的数据 首先我们在Chrome浏览器中打开登陆界面,然后Ctrl+shift+i开启开发者工具,在开发者工具的Network选项里找到Preserve log并勾选,然后登录你的。...由于登陆的时候需要向服务器输送数据所以我们限定搜索范围,去找Method为POST的这时你会找到login.php?...我们只需要找到这几个数据就可以模拟登录到,那么怎么找到这些数据呢?接着往下看… 获取servertime,nonce等数据 在登录页面里打开开发者工具,清除Network里的数据。...wvr=5&lf=reg"}}); 提取你自己的uniqueid值放入下列网址中get得到你的主页信息。

1.2K90
您找到你想要的搜索结果了吗?
是的
没有找到

使用python实现新浪登陆

抓包分析 首先打开charles,记录从打开浏览器到新浪登陆成功的全部http请求 打开新浪,等待页面加载完成后,输入账号密码点击登陆,charles停止抓包,关闭浏览器。...找到登陆的POST请求https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19) ? 登陆POST请求 ?...理论上我们只需要能完整的提交这个表单就能实现新浪登陆。但是如果进行试验的话,会发现将该表单完整复制之后使用requests进行post提交是无法登陆的,所以可以断定其中某些字段是通过动态获取。...由于新浪的首页内容太多太杂 我们将上文中拿到的登陆post请求https://login.sina.com.cn/sso/login.php?...登陆页面 打开F12,对登陆按钮进行定位,根据前后台交互的方式可以知道后台应该是通过中某一个内容判断用户点击了登陆按钮,在Source中的js代码部分检索的type:submit。 ?

78140

使用python模拟登陆腾讯

由于业务需要,研究了一下腾讯登陆,下面分享一些经验给大家: 标题写的是腾讯登陆,其实也可以隐身到腾讯旗下多个产品的登陆,比如QQ空间,webQQ等,想到这儿大伙是不是很激动呢?...下面我以Python为例: 分析登录过程 登录过程需要抓包,我是用的HttpWatch,大体步骤如下 第一步 手动登陆,抓包,记录登录过程 当输入完账号后想服务器请求验证码 等级登陆按钮后将登录信息发送至认证服务器...,实现第一次认证 服务器返回登陆成功信息,其中包含最终URL 第二次认证,获取腾讯的cookie 第二步 伪造登录过程 获取验证码 根据验证码计算出加密后的密码以及其他信息,发送GET请求至认证服务器...action和login_sig action参数可以乱填,和登陆没关系 login_sig提取自登陆页面,需要在登陆时发送!

93220

登陆新浪&批量下载收藏内容

作者:wklken 来源: http://blog.csdn.net/wklken/article/details/7884529 今天开新浪,才发现收藏已然有2000+了,足足104页,貌似需要整理下了...我们关注的: 1.正文+评论内容 2.图片 3.视频链接 用Python实现 思路: 1.脚本模拟登陆新浪,保存cookie 2.有了cookie信息后,访问收藏页面url 3.从第一页开始,逐步访问...,直到最后,脚本中进行了两步处理 A.直接下载网页(下载到本地,当然,要看的时候需要联网,因为js,图片神马的,都还在) B.解析出需要的内容,目前只是存下来,还没有处理 后续会用lxml...(困了,明后天接着写) 模拟登陆博采用是http://www.douban.com/note/201767245/ 里面很详细,直接拉来用了 步骤: 1.进入自己的,右侧,收藏,进入收藏页面 http...其中,带序号的,只能连网时点击打开有效 tmpcontent是包含所有内容信息,但目前还没有处理(还没想好提取成什么格式,容后再说) ? 附上脚本 ? ?

1.5K60

Python模拟登陆万能法-|知乎

Python模拟登陆让不少人伤透脑筋,今天奉上一种万能登陆方法。你无须精通HTML,甚至也无须精通Python,但却能让你成功的进行模拟登陆。...本文讲的是登陆所有网站的一种方法,并不局限于与知乎,仅用其作为例子来讲解。 用到的库有“selenium”和“requests”。...文章前面列出了步骤与代码,后面补充了登陆与知乎的实例。 文章最后给出了一个懒人的方法。想要走捷径的朋友直接看第四部知乎登陆。该方法适用于登陆所有网站,仅用知乎作为实例以方便讲解。...第三部:模拟登陆 import requests from selenium import webdriver chromePath = r'浏览器存放位置' wd = webdriver.Chrome...3.登陆是被要求输入验证码怎么办?有时登陆会被要求输入验证码,这个时候我们可以加一行手动输入验证码的代码。

6.1K42

登陆爬取用户影响力

下面的操作针对于 m.weibo.cn : 这里要实现的是对用户的影响力抓取,我本文以广电时评为例。 点击查看,里面的数据会更多一点。...未登陆时: 这里是需要用户登陆之后才可以查看的, 所以为了实现我们的需求,我们开始模拟登陆。...首先来到移动端的登陆页面 然后选择使用账号密码登陆 先输入一个错误的账号来查看一下登陆的接口 错误的账号返回了retcode 查看下 Formdata 当然请求头也不能忘记 有了这些信息之后...如果需要获取指定的影响力。...我们可以通过接口 先访问用户api,获取用户主页的cid uid = 'ID' user_api = 'https://m.weibo.cn/api/container/getIndex?

26820

超详细的Python实现模拟登陆,小白都能懂

最近由于需要一直在研究的爬虫,第一步便是模拟登陆,从开始摸索到走通模拟登陆这条路其实还是挺艰难的,需要一定的经验,为了让朋友们以后少走点弯路,这里我把我的分析过程和代码都附上来。...第一步:预登陆。 现在、空间等大型网站在输入用户名后基本都会做编码或者加密处理,这里在用户名输入框输入我的账号,通过抓包工具可以看到服务器会返回一段字符串: ?...第一种方式如果是遇到调整了登陆加密算法,就必须改加密代码,第二种方式和第三种方式不存在这个问题。...但是有点坑啊,这里还需要有一步,就是图一所示的类似 ? ,这一步会将请求重定向,返回当前账号的登陆信息,如下图: ? 那么问题来了,怎么获取上面的请求地址呢。...可能有的老手觉得我写得很啰嗦,但其实很多新手可能都不知道这些细节,所以我把我在分析新浪模拟登陆的过程全写了出来。 另外,除了这种方式,本文提到的另外两种方式也有实现。

76720

Python调用API获取内容

一:获取app-key 和 app-secret     使用自己的账号登录开放平台,在开放中心下“创建应用”创建一个应用,应用信息那些随便填,填写完毕后,不需要提交审核,需要的只是那个app-key...在“开放平台”的“管理中心”找到刚才创建的应用,点开这个应用,点开左边“应用信息”栏,会看见“App key”和“App Secret”的字样,这两个东西是要在后面程序中使用的。...三:安装 python SDK 有两种安装方式: 1:http://github.liaoxuefeng.com/sinaweibopy/下载新浪SDK 2:python有个简单的安装方式:直接在命令行下键入...: sudo pip install sinaweibopy 四:实例验证,获取当前登录用户及其所关注(授权)用户的最新 这里需要注意的是在浏览器弹出一个页面,要先点击“授权”(这里进行的OAuth...以下为我的关注用户的: ? ? ? ? 拿上边代码为例,这里我们获取的信息有: ?

3.4K41

小白用Python | 超详细的Python实现新浪模拟登陆

最近由于需要一直在研究的爬虫,第一步便是模拟登陆,从开始摸索到走通模拟登陆这条路其实还是挺艰难的,需要一定的经验,为了让朋友们以后少走点弯路,这里我把我的分析过程和代码都附上来。...现在、空间等大型网站在输入用户名后基本都会做编码或者加密处理,这里在用户名输入框输入我的账号,通过抓包工具可以看到服务器会返回一段字符串: 这一步就是预登陆过程,同学们可以自己试试。...第一种方式如果是遇到调整了登陆加密算法,就必须改加密代码,第二种方式和第三种方式不存在这个问题。...但是有点坑啊,这里还需要有一步,就是图一所示的类似 http://passport.weibo.com/wbs... , 这一步会将请求重定向,返回当前账号的登陆信息,如下图: 那么问题来了,怎么获取上面的请求地址呢...可能有的老手觉得我写得很啰嗦,但其实很多新手可能都不知道这些细节,所以我把我在分析新浪模拟登陆的过程全写了出来。另外,除了这种方式,本文提到的另外两种方式也有实现。

1.1K90

如何设计 QQ、信、、Github 等第三方账号登陆 ?(附表设计)

来源 | https://juejin.im/post/5d0a298bf265da1b827aa06f 前言:多账户登陆 互联网应用当中,我们的应用会使用多个第三方账号进行登录,比如:网易、信、...QQ等,我们把此称为多账户统一登陆。...手机号注册登陆 短信业务非常成熟,使用手机号注册方便快捷。...这里看起来没有明确的注册登录操作,其实在发送手机号码就可以认为是一个常规的注册,然后后面的验证码输入就是一个登陆操作 问: 那我要密码咋办?...Spring Boot 解决跨域问题的 3 种方案 把 14 亿人都拉到一个信群,在技术上能实现吗? 这样统计代码执行耗时,才足够优雅! 来看看Google的未来工作环境设计,有你喜欢的元素吗?

95630

如何设计 QQ、信、、Github 等第三方账号登陆 ?(附表设计)

前言:多账户登陆 1. 创业初期 用户名密码注册登陆 手机号注册登陆 2. 数据库设计 3. 引入第三方账户方案 4. 数据库设计 5....总结 前言:多账户登陆 互联网应用当中,我们的应用会使用多个第三方账号进行登录,比如:网易、信、QQ等,我们把此称为多账户统一登陆。...通过这篇文章, 我想阐释多账户登陆的技术方案细节,以及相应的表设计,流程设计。我这里不会有具体代码实现细节,只要方案做的对,有思路,代码咋写都不会太烂。 1....手机号注册登陆 短信业务非常成熟,使用手机号注册方便快捷。...这里看起来没有明确的注册登录操作,其实在发送手机号码就可以认为是一个常规的注册,然后后面的验证码输入就是一个登陆操作 问: 那我要密码咋办?

80220
领券