这是 月小水长 的第 120 篇原创干货 写了个一站式微博分析可视化网站 作为长期项目，本次开放微博话题人物关系共现可视化功能，用户可以输入 2021 新版微博话题爬虫发布 的 csv 结果文件和自己的邮箱...，然后网站后台提取话题的文本内容中相互艾特的人物关系并且生成 gephi 构图所需的 edge.csv 和 node.csv 文件，处理成功并压缩后发送至你输入的邮箱地址。...1、话题爬虫的 csv 文件必须有 user_name 和 content 列，其中 user_name 是每一条边的起点，user_name 对应的 content 就是我们要提取出的 @ 人物的微博文本...2、后台处理耗时不到 1 min，如果超时还没有收到，请查看邮件垃圾箱，再不然在文末点击阅读原文的 buyiXiao's blog 网站留言，我会及时查看后台日志并反馈。...导入边数据集有个大坑是，需要用记事本将 edge.csv 改成 ANSI 格式，然后导入电子表格时格式选择 GB2312，否则 gephi 会提示以下错误： 边表格需要一个包含节点标号”源“和”目标“列 最后，有关微博可视化网站的更新日志和功能大全
微博自助抓取网站系列陆陆续续更新了以下几篇。...带 ip 属地，无 Cookie 微博话题自助抓取网站上线 零配置构建微博多层转发网络可视化的网站来了 零配置构建微博用户关系网络的网站也来了 新增 ip 属地，抓得更多，微博超级评论爬虫大更新...中断可继续，10w+，无 cookie 微博评论抓取网站上线 可按关键词和时间段搜索，微博用户爬虫上新 每个爬虫都是一个站点，但是这几个站点没有任何关联，不能从一个跳转到另外一个，七八个站点不容易收藏...例如，之前访问微博多级转发网络构建站点的链接是： https://weibo-layer-repost.buyixiao.xyz/ 现在点击这个链接，它会自动跳转到当前站点下的对应子链接： https:...同时，以后若有功能更新，比如微博签到数据抓取和可视化，就不用开新链接了，直接在当前站点就能看到。
一：获取app-key 和 app-secret 使用自己的微博账号登录微博开放平台，在微博开放中心下“创建应用”创建一个应用，应用信息那些随便填，填写完毕后，不需要提交审核，需要的只是那个app-key...在“微博开放平台”的“管理中心”找到刚才创建的应用，点开这个应用，点开左边“应用信息”栏，会看见“App key”和“App Secret”的字样，这两个东西是要在后面程序中使用的。...三：安装微博 python SDK 有两种安装方式： 1：http://github.liaoxuefeng.com/sinaweibopy/下载新浪微博SDK 2：python有个简单的安装方式:直接在命令行下键入...： sudo pip install sinaweibopy 四：实例验证，获取当前登录用户及其所关注（授权）用户的最新微博 这里需要注意的是在浏览器弹出一个页面，要先点击“授权”（这里进行的OAuth...以下为我的关注用户的微博： ? ? ? ? 拿上边代码为例，这里我们获取的信息有： ?
>", "", text) return content 以上所有代码，复制到 py 文件中即可用~
爬取某人的微博数据，把某人所有时间段的微博数据都爬下来。...具体思路： 创建driver—–get网页—-找到并提取信息—–保存csv—-翻页—-get网页（开始循环）—-…—-没有“下一页”就结束， 用了while True，没用自我调用函数 嘟大海的微博...：https://weibo.com/u/1623915527 办公室小野的微博：https://weibo.com/bgsxy 代码如下 from selenium import webdriver...from selenium.webdriver.common.keys import Keys import csv import os import time #只有这2个参数设置，想爬谁的微博数据就在这里改地址和目标
文章为原创首发地址：https://hooyes.net/p/nodejs-weibo-spider [5a9dfda4106f9 (1).png] 思路 通过关键字搜索抓取新浪微博的数据，分析得出新浪微博的搜索地址格式如下...： http://s.weibo.com/weibo/关键字 爬虫代码文件为 weibo-spider.js 假设我们要查询的关键字为 哈佛大学 则运行方式为 node weibo-spider.js...伪代码 将上面的思路用以下用伪代码表示过程 // 主程序 async function Main(keyword) { let url = 'http://s.weibo.com/weibo/'+keyword...真代码 weibo-spider.js 100行代码，依赖一个request模块和自定义xhtml模块。 完整代码已放到Hooyes的Github上开源，欢迎Fork或提建议。
周末抽空补全了微博可视化网站上三大微博聚合之一的位置聚合栏目。 大概收录了北京这么些地点的数据。..."北京动物园", "元大都城垣遗址公园", "水立方", "鼓楼大街" 一共 49 个地名（笔者应该去过不到一半），5w 条打卡信息（近一个月）；地名是我在微博北京地图上漫游手动摘录的...pcid=B2094654D36EA6FF459A&ext={%22lbsType%22:%22poi%22,%22lbsID%22:%22B2094654D26AA7FC419F%22} 近来微博改版...，对地名相关搜索接口收窄了，不能够搜索非所在城市的地名了；所以之前的微博位置聚合爬虫已经失效了，需要稍作修改，不过由于种种限制，先静观其变，等待该接口稳定后再予以修正。
这几天在完善博客内容，想增加一个新浪微博的关注，但是并没有找到html的，一般都是增加head和js标签的，因为之前弄过这个，所以找了一下之前的代码，代码如下： 这个需要多说一下，怎么查看你微博的...ID，这里的ID并非新浪微博的个性域名，而是你在申请新浪微博时，系统自动分配的，跟后期自己购买的数字ID不是一个，点开自己的微博，登陆，点击右侧的设置，账号设置，如图： ?...然后找到“预览我的主页”会弹出一个网页，地址栏会有一串数字，那段数字就是你的新浪微博ID： ? 然后把这段ID黏贴在我刚才的代码之中就OK了。
保证阅读体验，文中广告已关闭~ 超级方便的微博用户信息爬虫 是根据微博用户 Uid 来抓取公开的用户微博信息，但是很多时候，我们可能只知道这个用户的微博名字，并不知道 Uid，本次开放的爬虫就是完成从微博用户名到...主要抓取逻辑如下，可以像 不写一行，自动生成爬虫代码 文章里说的那样自动生成该部分代码。 def getUidByName(name): # https://s.weibo.com/user?...dfAddUserLink('test.csv', user_name_column='user_name') 代码地址在： https://github.com/Python3Spiders/WeiboSuperSpider...最后依旧是微博话题爬虫的日常更新，修复了群里朋友提出的若干问题，提升了稳定性。可以去 2021 新版微博话题爬虫发布 获取最新的微博话题爬虫。
全文简介 本文是用Python爬取微博移动端的数据。可以看一下Robots协议。另外尽量不要爬取太快。如果你毫无节制的去爬取别人数据，别人网站当然会反爬越来越严厉。...环境介绍 Python3 Windows-10-64位 微博移动端 网页分析 以获取评论信息为例（你可以以自己的喜好获得其他数据）。...Python代码 代码写的丑，凑合着看吧。
{ "info": { "_postman_id": "76e666b8-44fb-4235-9092-d52ea10a4fc1", "name": ...
新浪微博： http://service.weibo.com/share/share.php?...(可选，允许为空) &appkey=用于发布微博的来源显示，为空则分享的内容来源会显示来自互联网。...(可选，允许为空) &title=分享时所示的文字内容，为空则自动抓取分享页面的title值(可选，允许为空) &pic=自定义图片地址，作为微博配图(可选，允许为空) &ralateUid=转发时会@...相关的微博账号(可选，允许为空) &language=语言设置(zh_cn|zh_tw)(可选) 腾讯微博： http://share.v.t.qq.com/index.php?
代码网上参考的，一共有两种，自己优化了一下： 1.离线方法 参考：http://www.iganlei.cn/demo/186.html <?
下饭：微博子域名跳转到腾讯 如图所示： ? 新浪微博子域名 help.weibo.com 解析到 1.1.1.1 并且设置跳转 t.qq.com（腾讯微博）。...起因： 今天找回新浪微博密码时候访问到 help.weibo.com，结果是如下页面。 ?...（发现时是不能访问的，至于跳转到腾讯微博，是后面help.weibo.com做了一些操作。） ? 为什么会这样？ 当然最终的锅还是在微博上，（也许他的内网在用1.1.1.1？）...就等同于此人拥有了help.weibo.com的解析权，于是这位就带来了今天的下饭操作：跳转到腾讯微博。可能微博会找实习生背锅吧。 我们应该如何避免？ 当然，这种行为是不恰当的。
数学建模已结束，刚开始的目标就是不熬夜，结果还是熬夜了（QAQ），缓了一天就来写简书了，感觉很久没爬虫了，今天就爬下移动端的微博好友圈信息。...代码 import requests import json headers = { 'Cookie':'xxxxxxxx', 'User_Agent':'Mozilla/5.0 (Windows...format=cards' get_info(url,1) 代码分析 提交cookie模拟登陆微博 好友圈的信息也是异步加载，如图为第一页的url ?
接下来就是新浪微博的抓取，一般的http访问新浪微博网站得到的html都是很简略的，因为新浪微博主页是用js动态生成的并且要进过多次的http请求与验证才能访问成功，所以为了数据抓取的简便，我们走一个后门...，也就是访问新浪微博的手机端，weibo.cn进行抓取，但随之而来的一个问题是，新浪微博的访问不管哪一端都需要强制的登陆验证，所以我们需要在http请求的时候附带一个cookie进行用户验证。...weibo.cn的cookie * @author hu */ public class WeiboCN { /** * 获取新浪微博的cookie，这个方法针对weibo.cn...有效，对weibo.com无效 * weibo.cn以明文形式传输数据，请使用小号 * @param username 新浪微博用户名 * @param password...新浪微博密码 * @return * @throws Exception */ public static String getSinaCookie(String
最近在做开发的过程中，有一个需求是在网站里面添加新浪微博(http://weibo.com)的关注图标。 先来看看我的运行效果,一下是四种不同的格式，实现都很简单： ?...操作步骤如下： 第一步：你需要申请一个微博(weibo.com)的账号 如我申请的账号如下： ?...followbutton.php 这一步是去到weibo平台的开发平台查看API，地址是：http://open.weibo.com/widget/followbutton.php 只需把你的uid替换为你的微博...id即可，如我的uid为：2265848294 下面是我测试的代码： 1 20 21 整个实现过程很简单....你也值得拥有....现在就可以给你的网站做一个吧
之前发表过一篇博客“IOS开发之新浪围脖”，在编写代码的时候太偏重功能的实现了，写完基本功能后看着代码有些别扭，特别是用到的四种cell的类，重复代码有点多，所以今天花点时间把代码重构一下。...在原来的代码上就把cell的代码进行了重写，所以本篇作为补充，关键代码还得看之前的博客。 1.第一种cell,只有微博内容，没有图片，效果如下： ? ...dd日 HH:mm"]; 44 self.dateLabel.text = [resultFormatter stringFromDate:date]; 45 46 //设置微博博文...，如果我们再加第二个cell(原微博带图片的)就简单多了，可以继承与上面的cell ? ...self.contentImage setImageWithURL:[NSURL URLWithString:dic[@"thumbnail_pic"]]]; } @end 3.第三种cell,是转发微博不带图片的
在很久之前（久到百度分享好用的时候）本站一直在使用百度分享代码，但是不知道从何时起，百度关闭的分享代码的官方，虽说之前的分享代码还是能用，但是总有一种岌岌可危的感受，就怕忽然那一天关闭了接口，网站没有分享了...，虽然有了也不见得有人会真的分享哈，但是人就是这样，我可以不用，但是你不能没有，嗯嗯，貌似很有道理，所以前些天把百度的代码更换了本地分享，更换之后发现，微博分享的来源显示“分享代码”，这就很不正规，所以把代码又双叒叕重新折腾一番...，终于可以实现自定义微博的小尾巴了，教程开始。...首先申请微博开发者，注册并完善账号信息，然后申请未连接，选择网站接入： ? 创建新应用，设置应用名称，注意，此名称也可用于来源显示，应用分类选择网页应用，如图： ?...在新弹出的界面，点击左侧导航栏的控制台，查看如图App Key的值，复制下来，粘贴在分享代码里就可以了，本站主题已经有微博分享接口，没有的别急，会一批批更新此功能的。 ?
很久以前(百度分享好用的时候)这个网站一直在用百度分享代码，但是不知道从什么时候开始，百度关闭的分享代码的官方，虽然之前的分享代码还是可以用的，但是总有一种岌岌可危的感觉，就怕那天突然关闭界面，网站没有分享...嗯，好像很有道理，所以前几天我把百度的代码换成了本地分享。换了之后发现微博分享的来源显示分享代码，很不正规，所以再折腾代码，终于可以实现定制微博的小尾巴了。...先申请微博开发者，注册并完善帐号信息，再申请未连接，选择网站访问： 创建新的应用程序，设置应用程序名称，注意，这个名称也可以用来显示来源，应用程序分类选择网页应用程序，如图: 完善应用信息，如图，请仔细填写红框中的信息...在新弹出的界面上，点击左侧导航栏的控制台，查看如图所示的AppKey值，复制并粘贴到共享代码中。这个网站的主题已经有了微博共享界面。如果没有，别担心，这个功能会批量更新。...PS:要实现微博登录功能，需要在界面管理中找到授权机制，在右页授权回调页面的界面上添加登录的登录地址。这是根据界面给出的，不统一。详情请咨询插件作者。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
