首先我们查看登陆页面源码 ?...由于要用的一部分微博数据用API获取不方便, 所以还是要自己写个小爬虫, 模拟登录是必不可少的。琢磨了一下这个东西,最终登录成功。...接下来再请求这个URL,这样就成功登录到微博了。 记得要提前build 缓存。 下面是完整代码(没加注释,凑合看吧): #!...很多豆友反馈有模拟登录新浪微博抓取数据的需求,其实对于一般的微博数据获取,如用户信息、微博内容等,使用微博开放平台API是更明智的选择:速度更快,而且节省许多网页处理的功夫。...熟悉Web的朋友只要定期维护模拟登录的代码就可以一直成功登录微博。如果不那么熟悉的话,其实可以采用更naive的思路来解决:直接将Cookie发送给新浪微博以实现模拟登录。
前言 最近在研究模拟登陆,看了很多教程,发现基本上都是只教怎么处理后就能登陆成功,没有讲解怎样得到处理的方法。经过的一天的研究,把微博模拟登陆基本上弄清楚了,下面就把过程详细说明。...弄清楚所需的数据 首先我们在Chrome浏览器中打开微博登陆界面,然后Ctrl+shift+i开启开发者工具,在开发者工具的Network选项里找到Preserve log并勾选,然后登录你的微博。...由于登陆的时候需要向服务器输送数据所以我们限定搜索范围,去找Method为POST的这时你会找到login.php?...我们只需要找到这几个数据就可以模拟登录到微博,那么怎么找到这些数据呢?接着往下看… 获取servertime,nonce等数据 在登录页面里打开开发者工具,清除Network里的数据。...wvr=5&lf=reg"}}); 提取你自己的uniqueid值放入下列网址中get得到你的微博主页信息。
抓包分析 首先打开charles,记录从打开浏览器到新浪微博登陆成功的全部http请求 打开新浪微博,等待页面加载完成后,输入账号密码点击登陆,charles停止抓包,关闭浏览器。...找到登陆的POST请求https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19) ? 登陆POST请求 ?...理论上我们只需要能完整的提交这个表单就能实现新浪微博的登陆。但是如果进行试验的话,会发现将该表单完整复制之后使用requests进行post提交是无法登陆的,所以可以断定其中某些字段是通过动态获取。...由于新浪微博的首页内容太多太杂 我们将上文中拿到的登陆post请求https://login.sina.com.cn/sso/login.php?...登陆页面 打开F12,对登陆按钮进行定位,根据前后台交互的方式可以知道后台应该是通过中某一个内容判断用户点击了登陆按钮,在Source中的js代码部分检索的type:submit。 ?
由于业务需要,研究了一下腾讯微博等登陆,下面分享一些经验给大家: 标题写的是腾讯微博的登陆,其实也可以隐身到腾讯旗下多个产品的登陆,比如QQ空间,webQQ等,想到这儿大伙是不是很激动呢?...下面我以Python为例: 分析登录过程 登录过程需要抓包,我是用的HttpWatch,大体步骤如下 第一步 手动登陆,抓包,记录登录过程 当输入完账号后想服务器请求验证码 等级登陆按钮后将登录信息发送至认证服务器...,实现第一次认证 服务器返回登陆成功信息,其中包含最终URL 第二次认证,获取腾讯微博的cookie 第二步 伪造登录过程 获取验证码 根据验证码计算出加密后的密码以及其他信息,发送GET请求至认证服务器...action和login_sig action参数可以乱填,和登陆没关系 login_sig提取自登陆页面,需要在登陆时发送!
本来给自己定了个2018的目标,平均每月写两篇文章,现在已经快三月了,第一篇稿子才憋出来,惭愧呀,直入主题吧,今天给大家带来的是新浪微博PC端的模拟登陆。...微博登录过程 抓取到登录过程后,我们就可以开始分析了,记住一定要清理缓存。...image.png 这一次写这篇博文就顺畅多了,还是知识积累的问题。后面还有一篇百度登录分析的,发现百度这个确实是很复杂,目前还没搞定。尽请期待哦
Python模拟登陆让不少人伤透脑筋,今天奉上一种万能登陆方法。你无须精通HTML,甚至也无须精通Python,但却能让你成功的进行模拟登陆。...本文讲的是登陆所有网站的一种方法,并不局限于微博与知乎,仅用其作为例子来讲解。 用到的库有“selenium”和“requests”。...文章前面列出了步骤与代码,后面补充了登陆微博与知乎的实例。 文章最后给出了一个懒人的方法。想要走捷径的朋友直接看第四部知乎登陆。该方法适用于登陆所有网站,仅用知乎作为实例以方便讲解。...第三部:微博模拟登陆 import requests from selenium import webdriver chromePath = r'浏览器存放位置' wd = webdriver.Chrome...3.登陆微博是被要求输入验证码怎么办?有时登陆微博会被要求输入验证码,这个时候我们可以加一行手动输入验证码的代码。
作者:wklken 来源: http://blog.csdn.net/wklken/article/details/7884529 今天开新浪微博,才发现收藏已然有2000+了,足足104页,貌似需要整理下了...我们关注的: 1.微博正文+评论内容 2.图片 3.视频链接 用Python实现 思路: 1.脚本模拟登陆新浪微博,保存cookie 2.有了cookie信息后,访问收藏页面url 3.从第一页开始,逐步访问...,直到最后,脚本中进行了两步处理 A.直接下载网页(下载到本地,当然,要看的时候需要联网,因为js,图片神马的,都还在) B.解析出微博需要的内容,目前只是存下来,还没有处理 后续会用lxml...(困了,明后天接着写) 模拟登陆微博采用是http://www.douban.com/note/201767245/ 里面很详细,直接拉来用了 步骤: 1.进入自己的微博,右侧,收藏,进入收藏页面 http...其中,带序号的,只能连网时点击打开有效 tmpcontent是包含所有微博内容信息,但目前还没有处理(还没想好提取成什么格式,容后再说) ? 附上脚本 ? ?
下面的操作针对于 m.weibo.cn : 这里要实现的是对微博用户的影响力抓取,我本文以广电时评为例。 点击查看,里面的数据会更多一点。...未登陆时: 这里是需要微博用户登陆之后才可以查看的, 所以为了实现我们的需求,我们开始模拟登陆。...首先来到微博移动端的登陆页面 然后选择使用账号密码登陆 先输入一个错误的账号来查看一下登陆的接口 错误的账号返回了retcode 查看下 Formdata 当然请求头也不能忘记 有了这些信息之后...如果需要获取指定的微博影响力。...我们可以通过接口 先访问用户api,获取用户主页的cid uid = '微博ID' user_api = 'https://m.weibo.cn/api/container/getIndex?
三方登录之微博登陆 准备工作 注册微博开放平台 注册地址: https://open.weibo.com/ 之后选择网站接入填写对应信息 图片 基本信息照的这个填写: 图片 高级信息是你内网穿透的地址...client_id=你的appkey&response_type=code&redirect_uri=你的回调地址 (微博请求你的时候会在你的回调地址后加一个code参数,这个参数你需要获取一下) 主要两个参数...client_id=你的appkey&response_type=code&redirect_uri=你的回调地址">微博登录 这只是一个简单的demo,具体的业务大家可以根据需求去编写
最近由于需要一直在研究微博的爬虫,第一步便是模拟登陆,从开始摸索到走通模拟登陆这条路其实还是挺艰难的,需要一定的经验,为了让朋友们以后少走点弯路,这里我把我的分析过程和代码都附上来。...第一步:预登陆。 现在微博、空间等大型网站在输入用户名后基本都会做编码或者加密处理,这里在用户名输入框输入我的账号,通过抓包工具可以看到服务器会返回一段字符串: ?...第一种方式如果是遇到微博调整了登陆加密算法,就必须改加密代码,第二种方式和第三种方式不存在这个问题。...但是微博有点坑啊,这里还需要有一步,就是图一所示的类似 ? ,这一步会将请求重定向,返回当前账号的登陆信息,如下图: ? 那么问题来了,怎么获取上面的请求地址呢。...可能有的老手觉得我写得很啰嗦,但其实很多新手可能都不知道这些细节,所以我把我在分析新浪微博模拟登陆的过程全写了出来。 另外,除了这种方式,本文提到的另外两种方式也有实现。
用dedecms批量建站一般直接把文件打包复制,然后导入数据库,一个新网站就好了,但有时后台一直无法登录,提示验证码错误。那我们就想怎么把验证码关闭,现在就给大家解决织梦去掉后台登陆验证码。...我们知道dedecms后台正常关闭验证是在【系统】→[验证码安全设置]→开启系统验证码,把【后台登陆】前的勾去掉就可以,但这个需要登录后台才能操作。...= $svali) 替换为 if( false ) 3、编辑打开后台登陆模板文件dede/templets/login.htm,删除或注释以下验证码的具体HTML代码: 验证码:</
最近由于需要一直在研究微博的爬虫,第一步便是模拟登陆,从开始摸索到走通模拟登陆这条路其实还是挺艰难的,需要一定的经验,为了让朋友们以后少走点弯路,这里我把我的分析过程和代码都附上来。...现在微博、空间等大型网站在输入用户名后基本都会做编码或者加密处理,这里在用户名输入框输入我的账号,通过抓包工具可以看到服务器会返回一段字符串: 这一步就是预登陆过程,同学们可以自己试试。...第一种方式如果是遇到微博调整了登陆加密算法,就必须改加密代码,第二种方式和第三种方式不存在这个问题。...但是微博有点坑啊,这里还需要有一步,就是图一所示的类似 http://passport.weibo.com/wbs... , 这一步会将请求重定向,返回当前账号的登陆信息,如下图: 那么问题来了,怎么获取上面的请求地址呢...可能有的老手觉得我写得很啰嗦,但其实很多新手可能都不知道这些细节,所以我把我在分析新浪微博模拟登陆的过程全写了出来。另外,除了这种方式,本文提到的另外两种方式也有实现。
一:获取app-key 和 app-secret 使用自己的微博账号登录微博开放平台,在微博开放中心下“创建应用”创建一个应用,应用信息那些随便填,填写完毕后,不需要提交审核,需要的只是那个app-key...在“微博开放平台”的“管理中心”找到刚才创建的应用,点开这个应用,点开左边“应用信息”栏,会看见“App key”和“App Secret”的字样,这两个东西是要在后面程序中使用的。...三:安装微博 python SDK 有两种安装方式: 1:http://github.liaoxuefeng.com/sinaweibopy/下载新浪微博SDK 2:python有个简单的安装方式:直接在命令行下键入...: sudo pip install sinaweibopy 四:实例验证,获取当前登录用户及其所关注(授权)用户的最新微博 这里需要注意的是在浏览器弹出一个页面,要先点击“授权”(这里进行的OAuth...以下为我的关注用户的微博: ? ? ? ? 拿上边代码为例,这里我们获取的信息有: ?
新浪微博的用户名加密目前采用Base64加密算法,而新浪微博登录密码的加密算法使用RSA2,这是模拟登陆的重点,需要先创建一个rsa公钥,公钥的两个参数新浪微博都给了固定值,第一个参数是登录第一步中的pubkey...= base64.b64encode(username_quote.encode("utf-8")) return username_base64.decode("utf-8") # 预登陆获得...userID = re.findall(weibo_pa, weibo_page.content.decode("utf-8", 'ignore'), re.S)[0] print(u"欢迎你 %s, 登陆成功
全文简介 本文是用Python爬取微博移动端的数据。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严厉。...环境介绍 Python3 Windows-10-64位 微博移动端 网页分析 以获取评论信息为例(你可以以自己的喜好获得其他数据)。
下饭:微博子域名跳转到腾讯 如图所示: ? 新浪微博子域名 help.weibo.com 解析到 1.1.1.1 并且设置跳转 t.qq.com(腾讯微博)。...起因: 今天找回新浪微博密码时候访问到 help.weibo.com,结果是如下页面。 ?...(发现时是不能访问的,至于跳转到腾讯微博,是后面help.weibo.com做了一些操作。) ? 为什么会这样? 当然最终的锅还是在微博上,(也许他的内网在用1.1.1.1?)...就等同于此人拥有了help.weibo.com的解析权,于是这位就带来了今天的下饭操作:跳转到腾讯微博。可能微博会找实习生背锅吧。 我们应该如何避免? 当然,这种行为是不恰当的。
参考:http://blog.csdn.net/k1988/article/details/6684114
来源 | https://juejin.im/post/5d0a298bf265da1b827aa06f 前言:多账户登陆 互联网应用当中,我们的应用会使用多个第三方账号进行登录,比如:网易、微信、...QQ等,我们把此称为多账户统一登陆。...手机号注册登陆 短信业务非常成熟,使用手机号注册方便快捷。...这里看起来没有明确的注册登录操作,其实在发送手机号码就可以认为是一个常规的注册,然后后面的验证码输入就是一个登陆操作 问: 那我要密码咋办?...Spring Boot 解决跨域问题的 3 种方案 把 14 亿人都拉到一个微信群,在技术上能实现吗? 这样统计代码执行耗时,才足够优雅! 来看看Google的未来工作环境设计,有你喜欢的元素吗?
前言:多账户登陆 1. 创业初期 用户名密码注册登陆 手机号注册登陆 2. 数据库设计 3. 引入第三方账户方案 4. 数据库设计 5....总结 ---- 前言:多账户登陆 互联网应用当中,我们的应用会使用多个第三方账号进行登录,比如:网易、微信、QQ等,我们把此称为多账户统一登陆。...通过这篇文章, 我想阐释多账户登陆的技术方案细节,以及相应的表设计,流程设计。我这里不会有具体代码实现细节,只要方案做的对,有思路,代码咋写都不会太烂。 ? 1....手机号注册登陆 短信业务非常成熟,使用手机号注册方便快捷。其流程如下: ?...这里看起来没有明确的注册登录操作,其实在发送手机号码就可以认为是一个常规的注册,然后后面的验证码输入就是一个登陆操作 问: 那我要密码咋办?
前言:多账户登陆 1. 创业初期 用户名密码注册登陆 手机号注册登陆 2. 数据库设计 3. 引入第三方账户方案 4. 数据库设计 5....总结 前言:多账户登陆 互联网应用当中,我们的应用会使用多个第三方账号进行登录,比如:网易、微信、QQ等,我们把此称为多账户统一登陆。...通过这篇文章, 我想阐释多账户登陆的技术方案细节,以及相应的表设计,流程设计。我这里不会有具体代码实现细节,只要方案做的对,有思路,代码咋写都不会太烂。 1....手机号注册登陆 短信业务非常成熟,使用手机号注册方便快捷。...这里看起来没有明确的注册登录操作,其实在发送手机号码就可以认为是一个常规的注册,然后后面的验证码输入就是一个登陆操作 问: 那我要密码咋办?
领取专属 10元无门槛券
手把手带您无忧上云