首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

位置爬虫发布

数据分析经常需要和地理位置相关联,比如查看某一话题爬虫下发人员地理分布,或者用户爬虫下某人轨迹分布,等等;而这次的位置爬虫则是直接以位置为切入点爬取,只需要输入一个地名,就能抓取在该地点发过的具体信息...都可以先用这个位置爬虫,爬完后的 csv 交给用户信息爬虫处理。...,并且是原图,清晰度比较高,所以下载比较慢,所以为了快速抓取,默认值为 False,不保存,想要保存的话指定为 True 即可;河南暴雨超话时,很多信息是通过图片发布的,所以图片信息也很重要,可以通过...OCR 技术提取出文本,尝试了下,由于该保存的图片是原图,图片里面的文本信息几乎都能解析出来。...,这样就能爬到更多的位置数据。

66820

免 cookie 话题爬虫发布

免 cookie cn 话题爬虫 大家好,我是刚下班的并更新了话题爬虫的月小水长。...com 话题爬虫 BugFix 其次是更新了 WeiboCom 话题爬虫的 bug,这周刚发布 2021 爬虫更新及使用指南 ,有读者留言反馈了以下的 bug 现今暂时修复,但是爬虫不会自动停下来了...修复的爬虫文件,获取方式依然在 2021 新版话题爬虫发布,回复同样的口令即可获取更新。...站数据更丰富些; 但是缺点也很明显,不支持高级搜索; weibo.com 的好处是筛选条件更加丰富,时间段颗粒度更细,最细达到了以小时为单位; 缺点是需要经常手动更换 cookie; 这里给新开的信小店留个位置...,感兴趣的可以看看~ 谢谢大家关注,爬虫将持续更新,明早或周一更新用户信息爬虫~

58110
您找到你想要的搜索结果了吗?
是的
没有找到

android 集成常见问题

我们在做集成登录、分享、聊天的时候,肯定会遇到很多的坑,这里总结下常见的问题。...文件不存在 C8998 的解决方法 如图我们走授权登录的时候如果OAuth2.0 授权设置回调页面设置和本地的不一致会出现8998错误,如图: ?...解决办法是:在设置授权的时候,回调的url要与项目设置的一致(即官方代码的Contant文件的REDIRECT_URL)。 ? ? 设置完成后就好了,就可以写你自己的登录逻辑了。 ?...检查应用包名签名信息是否完善 如果你的应用只有一个包名、签名,请在 http://open.weibo.com/apps 下自己的应用中,进入应用信息-基本信息模块,点击“编辑”,即可看到填写Apple ID或Android...那么怎么解决呢,这个问题是由于 默认测试的keystore和提供的keystoe不匹配,由于我们用的是测试环境,所以需要配置相应的sign。 ?

84480

Android APP集成新浪分享功能

本文为大家分享了新浪分享功能集成,供大家参考,具体内容如下 下载新浪Android SDK 直接导入weibosdkcore.jar:适用于只需要授权、分享、网络请求框架功能的项目。...(mContext, SysConstants.SHARE_WEIBO_APP_ID); // 注册到新浪 mWeiboShareAPI.registerApp(); Intent...在进行分享前,需要在AndroidManifest.xml中,在需要接收消息的Activity(唤起主程序的类)里声明对应的Action:ACTION_SDK_REQ_ACTIVITY,如下所示...WBShareActivity里实现了IWeiboHandler#Response接口,接收分享后返回的数据,代码如下所示: /** * 接收客户端请求的数据。..., R.drawable.ic_logo); imageObject.setImageObject(bitmap); return imageObject; } 其他事项可参考新浪

1.8K10

Python调用API获取内容

一:获取app-key 和 app-secret     使用自己的账号登录开放平台,在开放中心下“创建应用”创建一个应用,应用信息那些随便填,填写完毕后,不需要提交审核,需要的只是那个app-key...在“开放平台”的“管理中心”找到刚才创建的应用,点开这个应用,点开左边“应用信息”栏,会看见“App key”和“App Secret”的字样,这两个东西是要在后面程序中使用的。...三:安装 python SDK 有两种安装方式: 1:http://github.liaoxuefeng.com/sinaweibopy/下载新浪SDK 2:python有个简单的安装方式:直接在命令行下键入...: sudo pip install sinaweibopy 四:实例验证,获取当前登录用户及其所关注(授权)用户的最新 这里需要注意的是在浏览器弹出一个页面,要先点击“授权”(这里进行的OAuth...以下为我的关注用户的: ? ? ? ? 拿上边代码为例,这里我们获取的信息有: ?

3.5K41

话题爬虫新增发布手机、超话字段

最新的话题爬虫新增了 source 字段,这个字段包含了发布手机、超话等诸多信息,可以去 2021 新版话题爬虫发布 获取最新的爬虫文件。...新加了之后,新版话题爬虫的字段已经多达十四个,无论是 ID、发布时间,内容等信息,还是转发数、点赞数和评论数等社区信息,亦或者是用户名、用户主页等用户信息,还是地理位置、发布手机等其他信息,均可以抓取保存...,看到很多读者在后台留言说想要新增一个发布用户的 UID,其实这个 UID 在字段用户主页 user_link 就体现出来了,user_link 里面的数字串就是 UID。...user_id = user_link[user_link.rindex('/')+1:] 同时,最近使用新版话题爬虫时,出现 UnboundLocalError 较多 local variable

59110

Java网络爬虫抓取新浪个人记录

接下来就是新浪的抓取,一般的http访问新浪网站得到的html都是很简略的,因为新浪主页是用js动态生成的并且要进过多次的http请求与验证才能访问成功,所以为了数据抓取的简便,我们走一个后门...,也就是访问新浪的手机端,weibo.cn进行抓取,但随之而来的一个问题是,新浪的访问不管哪一端都需要强制的登陆验证,所以我们需要在http请求的时候附带一个cookie进行用户验证。...weibo.cn的cookie * @author hu */ public class WeiboCN { /** * 获取新浪的cookie,这个方法针对weibo.cn...有效,对weibo.com无效 * weibo.cn以明文形式传输数据,请使用小号 * @param username 新浪用户名 * @param password...新浪密码 * @return * @throws Exception */ public static String getSinaCookie(String

44140
领券