首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Github | 高效公众号历史文章阅读数据爬虫

weixin_crawler是一款使用Scrapy、Flask、Echarts、Elasticsearch等实现的公众号文章爬虫,自带分析报告和全文检索功能,几百万的文档都能瞬间搜索。...weixin_crawler设计的初衷是尽可能多、尽可能快地爬取公众的历史发文 如果你想先看看这个项目是否有趣,这段不足3分钟的介绍视频一定是你需要的: https://www.youtube.com...功能强大实用,是新媒体运营等岗位不错的数据助手 得益于Scrapy、MongoDB、Elasticsearch的使用,数据爬取、存储、索引均简单高效 支持公众号的全部历史发文爬取 支持公众号文章阅读量...可利用分组数据限定搜索范围 原创手机自动化操作方法,可实现爬虫无人监管 反爬措施简单粗暴 使用到的主要工具 语言 Python3.6 前端 web框架 Flask / Flask-socketio / gevent js...公众号历史文章列表 ? 报告 ? 搜索 ?

3.7K10

公众号文章防删除

阅读本文大概需要 3.6 分钟。...前段时间《一个出身寒门的状元之死》刷屏了,当我看完了这篇文章,很有感触,一开始我以为是事实,后来才发现完全是虚构,对于我来讲并不是非常在乎文章中的故事是否是真实的,我在乎文章给我的那种生活体验。...我想这也是此文章有很多阅读量的原因。作者的写作手法非常高超:要引发人们的羡慕,就捧到天上,要赚取眼泪,就踩到泥里。人造的落差感,到底还是缺了点生活。 但是现在想看这篇文章时,已经无法访问了。 ?...当我看到这个时很震惊,心想这么好的阅读体验的文章就这么没了,在网上搜索了好久都搜索不到。心里一阵堵。 唉,如何防止喜欢的公众号文章被删除呢? 那就是当天就把该文章保存起来,有时间再回头慢慢玩味。...还真有,我搜索了一下,发现这样一个好的开源项目:wechat-spider 界面预览 1) 要爬取的公众号列表 ? 2) 要爬取的文章关键字列表 ? 3) 已经爬取的文章 ?

1.8K31

优秀博客文章 | 跳转研究

weixin:// 跳转研究 前言 客户端提供了部分Schemes供外部应用跳转进客户并执行相关操作,网上有网友总结了一批scheme,但是我试了一下,基本全部都失效了,不过weixin:/...随便打开了其中一个,发现这些技术文章都是挂羊头卖狗肉的,要么是留了个QQ号,声称加他QQ交流跳转技术,要么是直接推广自己的小平台,你可以通过他们的小平台生成这种跳转链接。...咱们为了一探究竟于是就加了一个QQ号“交流”一下跳转技术。 贴上聊天记录: ? ? ? 虽然最后说自己已经研究出来了是“诓”他的,但是他给的这个链接确实是能唤起,并跳转到二维码图片页面。...0 30px 0;">正在前往客户端 <a href="javascript:document.location.reload();" style="width: 90%; background...wap跳转到<em>微</em>信内部浏览器的解决方案 这篇<em>文章</em>里面介绍到是利用了京东的合作商跳转接口来实现的,而且,这个接口只认jd.com下的域名,这就解释了上文说的为啥他会把图片上传到京东卖家论坛里面去了。

1.9K20

js处理分享配置

整理一下通过h5做分享相关配置。 流程介绍 公众号配置(AppID、IP白名单、JS接口安全域名) 网页授权 JSSDK配置使用 1....公众号配置 登录公众号,获取AppID,配置白名单,然后配置JS接口安全域名。...配置白名单 1.3 配置JS接口安全域名 左侧菜单栏选择:设置 => 公众号设置: ? JS接口安全域名 2. 网页授权 网页授权主要是获取openId使用,如果只是用分享操作,本步可以略过。...为什么要走这一步呢因为有些操作,例如支付、播放录音、获取地址、卡券、商品、小店等等许多功能必须在浏览器汇总打开操作才可以,因此需要跳入微浏览器及链接来处理后续操作。...}); 小结 其实分享(地理位置、扫一扫、卡券等各类接口)都是通过上述步骤配置的,可举一反三,在面对不同需求时通过开发文档来进行更为复杂的操作。

6.5K00

公众号信息抓取方法(二)——抓取文章点赞、阅读、评论、小程序信息

上一篇文章文章将cookie信息保存到redis中, 则这一节主要是取出cookie, 并且构造方法去获取文章的点赞、阅读、评论、小程序信息, 而且不会访问文章内容页, 防止被认为是刷阅读数而封号,...所以在2个小时内一定要处理完数据 # crawl_like.py # -*- coding:utf-8 -*- ''' 抓取文章点赞和评论''' import json import re import...List from app.lib.function import parse_url logger.name = __name__ class like(object): ''' 抓取文章点赞和评论...}) def crawl_like(self, content_id, headers, biz, mid, sn, idx, appmsg_token): ''' 抓取文章点赞数和阅读数...try: body = requests.get(_url, headers=headers, timeout=10) if re.compile(r'请在客户端打开链接

5.9K41

emlog插件推送最新文章

话不多少,看介绍 推送最新文章插件是为了更加方便的通知订阅你网站的用户,且你不需要申请部署任何公众号,即可享受每天1000条的免费接口 下面说一下这款插件的使用方法: 1、进入...Sever酱一对多消息送达服务页面    pushbear.ftqq.com/admin 2、使用扫一扫登录该页面 3、进入通道页面新建通道    pushbear.ftqq.com/admin.../#/channel 4、通道名称及联系用Email自定义 5、返回通道页面,点击设置链接 6、打开通道内启动开关,更新设置 7、让用户扫一扫进入你的专属订阅通道 8、...你也可以使用发送消息测试消息是否能准确送达 9、发送消息页面中的SendKey复制粘贴到插件内填写即可 温馨提示:由于Sever酱接口不支持html代码存在,所以专设文章摘要作为纯文本推送选项

1.2K20

Python轻松抓取公众号文章

今天继续向 Python 头条添加数据信息,完成了公号的爬虫,接下来会继续通过搜狗的知乎搜索抓取知乎上与 Python 相关的文章、问答。...公众号的文章链接有些是具有时效性的,过一段时间会变成参数错误而无法访问,但是我们发现从公众号后台点击过去得到的链接却是永久链接,其参数不会改变链接也不会失效,也就是说只要能够获得这些参数就可以得到永久链接...通过观察发现即使从搜狗搜索入口的有时效性的链接访问网页,其源码中也带有这些参数: 图片_20211214110312.png 所以只要解析这几个参数,就可以构造出永久链接。...>', '', s) 然后根据时效性链接获取文章内容,并从中提取参数信息: from html import unescape from urllib.parse import urlencode ​...+ urlencode(params) print(link, title, abstract) 看到文章最后,如果觉得此篇文章对您有帮助的话,麻烦点个赞再走哦~谢谢阅读

1.7K31

小程序】vertical属性、文章列表

今日学习目标:vertical属性、文章列表 创作者:颜颜yan_ ✨个人主页:颜颜yan_的个人主页 ⏰预计时间:25分钟 专栏系列:我的第一个小程序 ---- 文章目录 前言...vertical属性——Boolean值的"陷阱" 文章列表 效果图 wxml wxss 总结 ---- 前言 哈喽大家好,本期是小程序专栏第八期,本期的主要内容是以vertical属性为例了解Boolean...值的一个小“陷阱”、文章列表的制作。...文章列表 效果图 文章列表包括日期、发布时间、文章标题、图片、收藏、浏览、评论几个部分。 wxml 思路: 添加一个大的view组件放内容。...设置整个文章列表,主轴设置为自上而下,调整间距,设置上下边框的颜色。 设置文章和日期的样式,flex布局,主轴从左向右,让日期位于图片的右边。 设置文章简介、文章标题、文章图片的样式。

53840

用Markdown写公众号文章

目前公众号的编辑器是不支持Markdown语法的,那怎么办呢? 有一款叫Markdown Here的插件可以解决这个问题(支持Chrome、Firefox、Safari)。...Markdown Here 的用法非常简单,直接在编辑器中用Markdown语法写完文章或粘贴进去写好的文章,然后鼠标右键选择「Markdown转换」,或者点击 Markdown Here 插件图标转换...这时候你会发现文章排版全好了,amazing! Markdown Here默认使用的是Github风格的排版,如果你懂CSS的话甚至可以自己定义。...编辑器上码字,顺便练习 Markdown 语法; 在 Chrome 浏览器中安装 Markdown Here 插件; 自定义 Markdown Here 的 CSS; 把 Markdown 编辑器上码好的文章复制粘帖到公众帐号的编辑器中...一般的文章写作主要用到语法就是以下这些符号(英文状态输入): 一级标题:标题内容前加 # 二级标题:标题内容前加 ## 三级标题:标题内容前加 ### 加粗:加粗内容两端加 ** 斜体:斜体内容两端加

1.7K20

采集助手】Python Tkinter 公众号文章批量采集工具

现如今大部分优质内容都是闭环的,都在移动端,app端,或者百度都无法搜录到,比如公众号文章内容,而且这些地方还存在着比较高质量的内容,大部分人都有着这方面的采集需求!...其实前面本渣渣已经写过了一篇关于公众号文章内容的采集,源码也已经公布,感兴趣的老哥们可以看看!...公众号文章采集工具,可采集文章文字内容信息及图片 百忙之中,对于上面的内容进行了更新,其实就是套了GUI,使用 Tkinter 添加了界面,这就是公众号批量采集助手,可以作为辅助工具使用,能实现简单的文章采集...公众号文章采集助手(工具) 可单篇,可多篇采集,仅供学习交流使用 批量采集需提前准备好文章txt文档链接 运行系统推荐:win7 64位 1.工具仅供学习使用,工具QQ交流群:924154897 2....可实现公众号文章批量采集,需提前准备好链接 3.更多好玩软件、资源欢迎关注公众号:二爷记 BUG反馈: 请加:huguo00289 工具使用展示 单篇采集 单篇采集的话,只需要将链接粘贴进入

2.2K10

文章自动同步公众号实践

本文来自 zhiyi 的个人博客实践,可以通过开放能力将其他平台的文章同步到公众号上。 整体思路 官方提供了素材管理的 API,通过 API 可以很方便地进行同步。...公众号中不允许出现外域图片,因此需要把文章里的图片全部使用的图片上传接口处理后替换。此外,公众号支持 HTML 标签但是只支持内联样式,所以必须把外联样式全部转换为内联样式。...所以,同步到公众号的操作,需要按照以下步骤: 使用公众号的 appid 和 secret 换取 access token。 把文章中的所有图片用图片上传接口上传,并替换文章里的 URL。...将文章中的所有外联 css 转为内联样式。 调用素材管理接口,同步文章。这里需要使用 access token 鉴权。...: 0, // 是否把封面图添加到文章开头 }], }); 这样就可以成功把文章同步到公众号后台的素材库中。

1.1K20

【典韦文章】zabbix实现报警

一、注册公众号 首先申请公众平台https://mp.weixin.qq.com/一个人最多申请5个公众号,所以还是可以的 申请完之后就可以根据腾讯的提示使用公众号了,然后用你自己的扫描关注信号...就可以看到用户数了,接下来的就要使用的用户的ID号了。点击用户查看用户的ID号。在浏览器查看用户的ID号。就是那个红色的ID了。...', 'password' => '公众登录密码', 'cookiePath' => $G_ROOT....看一下 OK的。完成。 ? Note: 本文的脚本借鉴于csdn上一哥们的文章,大家如果有需要可以参考下下文的链接,我这里只是抛砖引玉,为大家开个头。...参考文章:http://blog.chinaunix.net/uid-30236771-id-5037842.html

96150

JS-SDK 本地调试

最近在开发 h5 应用的时候,需要调起的扫一扫功能。那就得使用到JS-SDK,怎么在本地开发中,使用 JS-SDK 的功能呢?...(功能不限于扫一扫) 在这里,我们介绍两种方法: Demo 在 Mac M1 上进行;其他平台请自行验证 假设你已经申请了公众号测试账号,如果不知道如何操作,请前往本人之前的文章 - 调试公众号获取用户信息...access_token=ACCESS_TOKEN&type=jsapi 可以获取 Jsapi Ticket: 获取签名 我们已经获取到 jsapi_ticket,之后,通过 js 签名工具...开发工具的控制台输出的效果如下: 图中的 signature 是重新生成的 2....参考文 JS-SDK 如何本地调试 Mac上安装ngrok实现内网穿透

11.5K10

JS-SDK的使用

JS-SDK是公众平台面向网页开发者提供的基于信内的网页开发工具包。...通过使用JS-SDK,网页开发者可借助高效地使用拍照、选图、语音、位置等手机系统的能力,同时可以直接使用分享、扫一扫、卡券、支付等特有的能力,为信用户提供更优质的网页体验。...JS-SDK使用步骤如下: 步骤一:绑定域名 登录公众平台进入“公众号设置”的“功能设置”里填写“JS接口安全域名”。...2.小店商品详情页 viewType: '' }); 12.卡券 卡券接口中使用的签名凭证api_ticket,与步骤三中config使用的签名凭证jsapi_ticket不同,开发者在调用卡券...获取api_ticket api_ticket 是用于调用卡券JS API的临时票据,有效期为7200 秒,通过access_token 来获取。

16.7K10
领券