微博数据分析经常需要和地理位置相关联,比如查看某一话题爬虫下发博人员地理分布,或者用户爬虫下某人轨迹分布,等等;而这次的微博位置爬虫则是直接以位置为切入点爬取微博,只需要输入一个地名,就能抓取在该地点发过的微博具体信息...都可以先用这个微博位置爬虫,爬完后的 csv 交给用户信息爬虫处理。...,并且是微博原图,清晰度比较高,所以下载比较慢,所以为了快速抓取,默认值为 False,不保存,想要保存的话指定为 True 即可;河南暴雨超话时,很多信息是通过图片发布的,所以图片信息也很重要,可以通过...OCR 技术提取出文本,尝试了下,由于该微博保存的图片是原图,图片里面的文本信息几乎都能解析出来。...,这样就能爬到更多的位置微博数据。
微博发布动态 微博发布 ...} } } 微博发布...:发布 <!
免 cookie cn 微博话题爬虫 大家好,我是刚下班的并更新了微博话题爬虫的月小水长。...com 话题爬虫 BugFix 其次是更新了 WeiboCom 话题爬虫的 bug,这周刚发布 2021 微博爬虫更新及使用指南 ,有读者留言反馈了以下的 bug 现今暂时修复,但是爬虫不会自动停下来了...修复的爬虫文件,获取方式依然在 2021 新版微博话题爬虫发布,回复同样的口令即可获取更新。...站数据更丰富些; 但是缺点也很明显,不支持高级搜索; weibo.com 的好处是筛选条件更加丰富,时间段颗粒度更细,最细达到了以小时为单位; 缺点是需要经常手动更换 cookie; 这里给新开的微信小店留个位置...,感兴趣的可以看看~ 谢谢大家关注,微博爬虫将持续更新,明早或周一更新微博用户信息爬虫~
我们在做微博集成登录、分享、聊天的时候,肯定会遇到很多的坑,这里总结下常见的问题。...文件不存在 C8998 的解决方法 如图我们走微博授权登录的时候如果OAuth2.0 授权设置回调页面设置和本地的不一致会出现8998错误,如图: ?...解决办法是:在设置授权的时候,回调的url要与项目设置的一致(即微博官方代码的Contant文件的REDIRECT_URL)。 ? ? 设置完成后就好了,就可以写你自己的登录逻辑了。 ?...检查应用包名签名信息是否完善 如果你的应用只有一个包名、签名,请在 http://open.weibo.com/apps 下自己的应用中,进入应用信息-基本信息模块,点击“编辑”,即可看到填写Apple ID或Android...那么怎么解决呢,这个问题是由于 默认测试的keystore和微博提供的keystoe不匹配,由于我们用的是测试环境,所以需要配置相应的sign。 ?
本文会从头开始一步一步带你去写一个LazyFragment,根据写的过程中一步一步记录,你也可以自己试一试,跟着一起写写。最后也根据遇到的问题去完善了,网上搜的...
前几天看到一篇很好的文章《新浪微博布局学习——妙用TabHost》,已经转载到我的博客里新浪微博布局学习——妙用TabHost 里面详细的介绍了怎么妙用TabHost构建底部的工具栏,有兴趣的可以看一下
如果在网站推广过程中能利用好微博这个工具的话,将会给网站的推广工作带来巨大的便利。下面以dede程序为例讲讲如何将网站内容自动同步到新浪微博。 ...在新浪微博的工具中有个自动关联博客的功能,利用好这个功能将会是网站新发布的内容自动同步到新浪博客。
一:获取app-key 和 app-secret 使用自己的微博账号登录微博开放平台,在微博开放中心下“创建应用”创建一个应用,应用信息那些随便填,填写完毕后,不需要提交审核,需要的只是那个app-key...在“微博开放平台”的“管理中心”找到刚才创建的应用,点开这个应用,点开左边“应用信息”栏,会看见“App key”和“App Secret”的字样,这两个东西是要在后面程序中使用的。...三:安装微博 python SDK 有两种安装方式: 1:http://github.liaoxuefeng.com/sinaweibopy/下载新浪微博SDK 2:python有个简单的安装方式:直接在命令行下键入...: sudo pip install sinaweibopy 四:实例验证,获取当前登录用户及其所关注(授权)用户的最新微博 这里需要注意的是在浏览器弹出一个页面,要先点击“授权”(这里进行的OAuth...以下为我的关注用户的微博: ? ? ? ? 拿上边代码为例,这里我们获取的信息有: ?
全文简介 本文是用Python爬取微博移动端的数据。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据,别人网站当然会反爬越来越严厉。...环境介绍 Python3 Windows-10-64位 微博移动端 网页分析 以获取评论信息为例(你可以以自己的喜好获得其他数据)。
下饭:微博子域名跳转到腾讯 如图所示: ? 新浪微博子域名 help.weibo.com 解析到 1.1.1.1 并且设置跳转 t.qq.com(腾讯微博)。...起因: 今天找回新浪微博密码时候访问到 help.weibo.com,结果是如下页面。 ?...(发现时是不能访问的,至于跳转到腾讯微博,是后面help.weibo.com做了一些操作。) ? 为什么会这样? 当然最终的锅还是在微博上,(也许他的内网在用1.1.1.1?)...就等同于此人拥有了help.weibo.com的解析权,于是这位就带来了今天的下饭操作:跳转到腾讯微博。可能微博会找实习生背锅吧。 我们应该如何避免? 当然,这种行为是不恰当的。
参考:http://blog.csdn.net/k1988/article/details/6684114
想用nodejs写个微博客户端发微博,无奈新浪微博的nodejs sdk是OAuth1.0的。 只能自己根据OAuth1.0 改了改。...//statuses/destroy 删除微博信息 //statuses/update 发布一条微博信息 //statuses/upload 上传图片并发布一条微博 //statuses.../upload_url_text 发布一条微博同时指定上传的图片或图片url //emotions 获取官方表情 repost: function(args, callback) {.../* args参数: * id : 微博id * status : 转发文本 * is_comment 0-不发评论 1-发评论给当前微博 2-发评论给原微博...'.jpg': 'image/jpeg', '.png': 'image/png' }, //获取文件信息,用于statuses/upload 上传图片并发布一条微博
最新的话题爬虫新增了 source 字段,这个字段包含了发布手机、超话等诸多信息,可以去 2021 新版微博话题爬虫发布 获取最新的爬虫文件。...新加了之后,新版话题爬虫的字段已经多达十四个,无论是微博 ID、发布时间,内容等微博信息,还是转发数、点赞数和评论数等社区信息,亦或者是用户名、用户主页等用户信息,还是地理位置、发布手机等其他信息,均可以抓取保存...,看到很多读者在后台留言说想要新增一个发布用户的 UID,其实这个 UID 在字段用户主页 user_link 就体现出来了,user_link 里面的数字串就是 UID。...user_id = user_link[user_link.rindex('/')+1:] 同时,最近使用新版微博话题爬虫时,出现 UnboundLocalError 较多 local variable
接下来就是新浪微博的抓取,一般的http访问新浪微博网站得到的html都是很简略的,因为新浪微博主页是用js动态生成的并且要进过多次的http请求与验证才能访问成功,所以为了数据抓取的简便,我们走一个后门...,也就是访问新浪微博的手机端,weibo.cn进行抓取,但随之而来的一个问题是,新浪微博的访问不管哪一端都需要强制的登陆验证,所以我们需要在http请求的时候附带一个cookie进行用户验证。...weibo.cn的cookie * @author hu */ public class WeiboCN { /** * 获取新浪微博的cookie,这个方法针对weibo.cn...有效,对weibo.com无效 * weibo.cn以明文形式传输数据,请使用小号 * @param username 新浪微博用户名 * @param password...新浪微博密码 * @return * @throws Exception */ public static String getSinaCookie(String
首先感谢新浪微博提供的免费图床(对外链无限制),以及吊炸天的cdn图片加速服务,从此妈妈再也不用担心我的图床不能用了 微博图床原理: 访问 http://weibo.com/minipublish...使用新浪微博账号登陆 进入到发微博的界面: ?...不需要发布微博,图片只要上传就会存在于图床中 实用微博图床推荐 新浪微博图床 - Chrome 网上应用店 围脖是个好图床 - Chrome 网上应用店 实用云图床推荐 https网页一建生产图床
使用node.js爬虫每天从「新浪微博」上爬取一定数量的微博。主要实现登录,抓取发布微博,抓取关注人和粉丝的功能,暂时把数据存放在MongoDB中。...weibo_crawler 第一部分是准备数据,随机爬取50w左右的微博用户,然后每天爬取他们前一天发布的微博作为本项目的数据源。...由于新浪微博对爬虫有限制,因此爬取用户微博的时候采用定时器的方式。 由于只有登录了才能获取某个用户的个人信息和关注粉丝信息,而微博爬虫的难点就在于用户登录。...抓取一定的用户后,每天定时爬取这些用户前一天发布的微博。使用cheerio 对返回的页面信息进行解析。...对抓取微博失败的,Retry 5次 2. 放弃非人类 什么是非人类呢?
参考:http://open.weibo.com/wiki/%E7%A4%BA%E4%BE%8B%E4%BB%A3%E7%A0%81 微博开放平台给出的代码有很多bug,在此纠正 如乱码问题的解决: String
最近几天做了一下新浪微博的sdkdemo。其实也就是把管网上给的demo下下来运行一下。顺便看了一些bug。 首先要了解Oauth2.0授权认证,和SSO 登录功能。..." /> ------授权认证------ 主要是下面三个Activity android:name=".WBAuthActivity" /> android:...Constants.java 问题: 1.通过Code获取Token部分,WeiboAuth这个类根本没有封装在里面,导致无法响应AuthListener,功能失效 2.短信验证只能3次,3次以后就不能用了 ------微博分享...=".openapi.WBStatusAPIActivity" />------获取微博状态 android:name=".openapi.WBCommentAPIActivity".../>------获取某条微博的评论列表 android:name=".openapi.WBInviteAPIActivity" />------邀请好友 android
h5 https://m.weibo.cn/ ,这个扩展也是基于h5微博接口来备份微博的。...之前文章 一键备份微博并导出生成PDF,顺便用Python分析微博账号数据 分析过李健的微博词云图,他的微博关键词为音乐,北京,朋友,歌手,电影,居然还提到了周杰伦。 ?...每个月转发评论点赞总数图,可以看到2016-2018年的微博数据是高峰期。 ? 原创微博和转发微博数据比例。 ? 李健发微博的工具主要为pc网页和iPad。 ?...麋鹿微博工具箱 如果你不想微博哪天被人挖坟,可以将微博批量删除、设置仅自己可见、仅好友可见,这里推荐一个工具麋鹿微博工具箱。...开始扫描你的微博,微博多的话可能慢点。 ? ? 选择时间段,可以对微博删除,恢复公开,仅自己可见,仅粉丝可见,仅好友圈可见。 ?