首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

如何使用 Python 抓取 Reddit网站数据?

第 3 步:类似这样表格将显示屏幕上。输入您选择名称和描述。重定向 uri框输入http://localhost:8080 申请表格 第四步:输入详细信息后,点击“创建应用程序”。...本教程,我们将仅使用只读实例。 抓取 Reddit 子 Reddit 从 Reddit 子版块中提取数据方法有多种。Reddit 子版块帖子按热门、新、热门、争议等排序。...获得 URL 后,我们需要创建一个提交对象。...我们需要 praw 模块 MoreComments 对象。为了提取评论,我们将在提交对象上使用 for 循环。所有评论都会添加到 post_comments 列表。...我们还将在 for 循环中添加一个 if 语句来检查任何评论是否具有 more comments 对象类型。如果是这样,则意味着我们帖子有更多可用评论。因此,我们也将这些评论添加到我们列表

1.1K20

pytorch停止梯度若干办法,避免不必要模块参数更新

为什么我们要控制梯度?这个答案有很多个,但是都可以归结为避免不需要更新模型模块被参数更新。...我们深度模型训练过程,很可能存在多个loss,比如GAN对抗生成网络,存在G_loss和D_loss,通常来说,我们通过D_loss只希望更新判别器(Discriminator),而生成网络(Generator...多个loss协调只是其中一种情况,还有一种情况是:我们进行模型迁移过程,经常采用某些已经预训练好了特征提取网络,比如VGG, ResNet之类适用到具体业务数据集时候,特别是小数据集时候...一般来说,截断梯度可以有几种思路:1、停止计算某个模块梯度,优化过程这个模块还是会被考虑更新,然而因为梯度已经被截断了,因此不能被更新。...设置requires_gradtensor.detach()是截断梯度一个好办法,但是设置了detach()张量之前所有模块,梯度都不能回流了(不包括这个张量本身,这个张量已经脱离原先计算图了

6.8K41
您找到你想要的搜索结果了吗?
是的
没有找到

如何用 GPT2 和 BERT 建立一个可信 reddit 自动回复机器人?

SEP]reply」 reddit 文本 步骤 2:微调两个 BERT 分类器: a:区分真实回复和 GPT-2 生成回复 b:预测评论获得多少次支持 步骤 3:使用 praw 下载当前评论 步骤...4:使用微调 GPT2 为每个评论生成多个回复 步骤 5:将生成回复传递给两个 BERT 模型,以生成对真实性和投票数预测 步骤 6:使用一些标准来选择要提交回复 步骤 7:使用 praw 提交所选评论...这一次,这个模型只是一个数据集上训练,这个数据集包含了一堆真实 reddit 评论,用来预测他们实际获得了多少投票。 该模型还具有令人惊讶高预测精度。...幸运是,我可以使用 praw 库和下面的代码片段,从几个我认为会产生一些有趣响应 reddit 前 5 个「上升」帖子获取所有评论。...运行生成器和鉴别器 最后,我只需要构建一些东西来重新加载所有经过微调模型,并通过它们传递新 reddit 评论获得回复。在理想情况下,我会在一个脚本运行 GPT-2 和 BERT 模型。

3.2K30

使用Python Dash,主题分析和Reddit Praw API自动生成常见问题解答

很多时候对与他们一直搜索内容无关评论数量感到沮丧。以Reddit为例,主页上有很多帖子。所有的信息杂乱都很难跟踪。...这有助于合适时间保持联系。 为什么自动生成FAQ? 虽然总是有搜索引擎可以在这些论坛上找到需要信息,但功能却受限制,特别是对于那些不活跃或落后于讨论流程用户。...相关链接如下: http://www.storybench.org/how-to-scrape-reddit-with-python/ Reddit praw代码输入授权配置文件 然后将获得将被导出...Reddit Code获得某个subreddit频道 接下来使用以下元数据将hot_python导出到topics.csv 从Reddit Praw中提取帖子后检索元数据 主题提取 本节说明如何在...这将是本地进行可视化和部署基础。请查看演示文稿和演示,以获得更加动画应用程序视图。 通过应用程序,用户将能够选择最近最重要主题,过滤它们并显示时间线。此外下表将根据所选主题展示最相关帖子。

2.3K20

RedditC2:一款基于Reddit APIC2流量托管工具

该项目仅出于教育目的或测试目的开发和使用,请在获得测试授权后谨慎使用。 工具要求 该工具基于Python 3开发,因此我们首先需要在本地设备上安装并配置好Python 3环境。...接下来,使用下列命令安装工具所需PRAW库: pip3 install praw 工具下载 广大研究人员可以使用下列命令将该项目源码克隆至本地: git clone https://github.com...Post,然后使用命令“in:”发布一个新评论; 2、读取包含了单词“out:”评论; 3、如果没有找到这样评论,则返回第二步; 4、解析并解密评论,并读取输出; 5、将现有评论编辑修改为“executed...”以避免命令重复执行; Client 1、访问一个指定Reddit Post,然后读取包含了“in:”最新评论; 2、如果没有检测到新评论,则返回第一步; 3、解析并解密评论命令,然后本地执行...; 4、加密命令输出结果,并在相应评论回复(“out:”); 工具使用截图 下面给出是异或加密C2流量演示: 扫描结果 由于该工具本质上属于一个自定义C2植入物,因此我们需要使用反病毒产品来进行检测和测试

28830

【Kotlin 协程】Flow 异步 ① ( 以异步返回返回多个返回值 | 同步调用返回多个弊端 | 尝试 sequence 调用挂起函数返回多个返回值 | 协程调用挂起函数返回集合 )

文章目录 一、以异步返回返回多个返回值 二、同步调用返回多个弊端 三、尝试 sequence 调用挂起函数返回多个返回值 四、协程调用挂起函数返回集合 一、以异步返回返回多个返回值 ----... Kotlin 协程 Coroutine , 使用 suspend 挂起函数 以异步方式 返回单个返回值肯定可以实现 , 参考 【Kotlin 协程】协程挂起和恢复 ① ( 协程挂起和恢复概念...| 协程 suspend 挂起函数 ) 博客 ; 如果要 以异步方式 返回多个元素返回值 , 可以使用如下方案 : 集合 序列 Suspend 挂起函数 Flow 异步 二、同步调用返回多个弊端...sequence 调用挂起函数返回多个返回值 ---- 尝试使用 挂起函数 kotlinx.coroutines.delay 进行休眠 , 这样挂起时 , 不影响主线程其它操作 , 此时会报如下错误...---- 如果要 以异步方式 返回多个返回值 , 可以协程调用挂起函数返回集合 , 但是该方案只能一次性返回多个返回值 , 不能持续不断 先后 返回 多个 返回值 ; 代码示例 : package

8.2K30

交给工作自动化吧

1.自动移动鼠标,以便Skype / Lynk显示你在工作处于活动状态 想象一下,在过去十分钟内,你一直浏览最喜爱社交媒体应用新闻。...许多网站都不愿看到用户使用爬虫和程序登录其网站。但是,这仍然是一种很值得一学技能。 Selenium是一个有用库,可使用多种语言、帮助自动化UI QA、甚至可以通过登录来抓取网站。...任务包括: 导航到网站 查找登录字段(通常是用户名和密码)。 填写登录详情信息。 提交登录详情信息,自动完成屏幕登录。 建议:可以定义“方法”(用于频繁登录)从而在其他测试启用重用。...:使用脚本将多个视频发布到Reddit上。...Reddit帖子中发布YouTube视频也可以实现自动化。使用PRAW(一种允许抓取数据Python包装器)可以为Reddit体验提供更多功能。 开始使用前,请使用pip安装PRAW

1.8K10

高并发系统架构设计之实战篇35:计数系统设计之未读数系统

未读数也是系统中一个常见模块,以微博系统为例,你可看到有多个未读计数场景,比如:当有人 @你、评论你、给你博文点赞或者给你发送私信时候,你会收到相应未读提醒;早期微博版本中有系统通知功能...你可以计数系统增加一块儿内存区域,以用户 ID 为 Key 存储多个未读数,当有人 @你时,增加你未读 @计数;当有人评论你时,增加你未读评论计数,以此类推。...不过有一个折中方法, 那就是发送系统通知之前,先从线下数据仓库获取全量用户 ID,并且存储一个本地文件,然后再轮询所有的用户 ID,给这些用户增加未读计数。...最后一个需求关注是微博信息未读数,现在社交系统,关注关系已经成为标配功能,而基于关注关系信息也是一种非常重要信息聚合方式,因此,如何设计信息未读数系统就成了你必须面对一个问题。...最后,它不像系统通知那样有共享存储,因为每个人关注的人不同,信息列表也就不同,所以也就没办法采用系统通知未读数方案。 那要如何设计能够承接每秒几十万次请求信息未读数系统呢?

11211

离线、开源版 Notion—— 笔记软件Anytype 综合评测

随着 Notion 笔记软件赛道快速崛起,获得了很多用户喜欢。然而,Notion 也存在部分缺点。对于中国大陆用户而言,使用 Notion 需要特殊网络。...这样使用场景包括:用户想要安安静静地进行学习,不想连接互联网;用户所在公司,由于数据隐私保护等需要,只能使用公司内部网络和特殊设备,导致使用 Notion 不方便。那么,有什么解决办法呢?...AnyType 并没有对 Notion 亦步亦趋,而是主张建立一款数字对象操作系统。 AnyType ,存在不同类型对象/Objects....此外,支持引用多维表格功能,方便用户多个页面中共享 Database.模版功能:模版按钮+模版市场。强大、多样化、个性化模版可以满足不同用户使用需求。...并且,FlowUs 允许用户免费在线预览文件夹页面办公文件。文件夹页面:将网盘整合进你笔记系统对于个人用户十分友好,拥有高性价比。

4.9K30

WordPress实现每篇文章只允许用户评论一次

之前有网友提出,WordPress中有没有办法实现每篇文章只允许用户评论一次? 暂不说这个需求有没有用,毕竟WordPress就是给有各种需求的人用。...这个功能实现起来也比较简单,只需每次用户发表评论进数据库之前,从当前文章所有评论查找是否有相同用户名或邮箱已经发表过评论,如果有就跳到错误页面即可。...实现代码,放到当前主题functions.php即可(这里还增加了对IP判断,更保险): // 获取评论用户ip,参考wp-includes/comment.php function ludou_getIP...ludou_only_one_comment( $commentdata ) { global $wpdb; $currentUser = wp_get_current_user(); // 不限制管理员发表评论...LIMIT 0, 1;"); if($bool) wp_die('本站每篇文章只允许评论一次。

35200

实战 | 记一次实战SelfXSS+CSRF+越权漏洞组合拳

不过360肯定是不允许alert堂而皇之出现有没有办法把它隐藏起来呢。既然都能使用类似eval()功能了,我们还怕这个?...我又回去重新看了一下功能,发现这个点别的用户还真就看不到,我去,联系方式不就是给其它用户吗,其他用户看不到,你设计这个功能干啥啊! 没招了,只能想想有没有别的办法。...拳头硬了 0x03 意外收获平行越权 还得找找有没有别的漏洞来组合着打。看来看去我发现了他们这个类似论坛网站还有一个评论功能,不知道这个评论用户身份是由什么进行控制。...抓个包看看 评论这个行为会调用非常多接口,故而会产生好几个数据包,我http history筛选了一会,突然发现一个数据包不太对劲 这个数据包,它似乎传递用户名、uid、sid、用户头像。...所以实战遇到低危漏洞千万不要气馁,一定要想方设法打组合拳将其危害最大化,还有就是测某个功能点时候一定要记得看HTTP History,很多功能需要多个接口分多个步骤进行处理才能实现,养成分析HTTP

1.7K41

大文件复制时块取值问题

小文件复制时使用File.Copy()方法非常方便,但在程序复制大文件系统将处于假死状态(主线程忙于复制大量数据),你也许会说使用多线程就可以解决这个问题了,但是如果文件过大,没有显示复制时进度就会让用户处于盲目的等待...,以B为单位                 int sectionSize = 1024 * 200;                 //获得要复制源文件                 FileStream... from = new FileStream(txtFrom.Text, FileMode.Open, FileAccess.Read);                 //获得要复制目标文件,文件模式为添加...(from, to, left);                 }                 else                 {                     //从文件把指定长度字节复制到目录...当然我还有另外一种想法不过没有用代码实现,就是复制时使用多个线程同时将一个文件数据复制到目标位置去合并,理论上应该可以实现,且会成倍加速,有点类似BT,不知道大家还有没有别的好办法,愿意学习。

91910

微博爬虫出错居然还和网络运营商有关

几个月以前,这个问题解决办法是因为登录微博开启了双重登录验证,只需要在微博 app 或者 web 设置、账号安全、关闭双重登录验证即可,但是近期这个解决办法也失效了,我调试程序发现,com 微博登录充分必要条件是手机微博扫码登录...然后我在想有没有可以绕过这个登录保护,强制扫码登录流程,巧知乎上看到同一个问题,而且是 8月27日 开始提问,目前无解,问题地址:https://www.zhihu.com/question/...于是我又运行起了 WeiboCommentScrapy,由于好久没有更换这里 cookie,所以需要重新浏览器登录,复制 cookie 到代码,但是当我浏览器输完账号和密码并点击登录时,意外出现了... chrome 是这样: ? FireFox 又是这样: ?...总而言之,com 站已经强制需要扫码登录了,微博策略应该是会对 com 站爬虫作更多限制;而 cn 微博站登不上,导致无法获取 cn 微博 cookie,导致评论/用户/话题爬虫无法运行,换个网就行

94940

一个小小指针,竟把Linux内核攻陷了!

黑客通过应用程序漏洞(如Java、PHP、Apache、IE、Chrome、Adobe、office等)获得执行代码能力后,由于操作系统安全方面的设定,很多情况下都是沙盒或者低权限进程运行,许多操作都无法进行...以上就是通过正规途径,让我们程序进入内核态运行方式,可见,一旦进入内核态,执行就进入了操作系统提前设置好代码,攻击者没办法胡来。...你有没有想过,如果进程地址空间中,以零地址(也就是NULL)开始第一个4KB页面如果被分配了,会出现什么事情? 假设在内核,有一段代码忘记对空指针检查,就通过这个指针来调用函数。...:IDT 假如有办法能修改这些表格函数地址,改写成攻击者代码地址,不就能有办法让我们代码在内核模式下运行了吗?...那真的没办法了吗? 还是有的! 假如内核某段代码向某个数组某个元素写入数据,又恰巧忘记了检查数组下标是不是越界,再恰好这个下标可以通过应用程序来控制,那岂不是可以越界写?

94410

我不知道你知不知道我知道伪元素小技巧

方法:把父容器高度撑起来,考虑到浮动了元素并没有脱离正常文档,而其它元素会围绕着它环绕,所以清除浮动简单有效办法就是让环绕元素不可环绕,把它变成一把尺子,放在最后面,把所有浮动元素顶起来,而这把尺子就是一个设置了...开发如果我们遇到类似这样需求我们?我们应该如何只用一个简单css元素去实现他? 方案:一个p标签,左右两条线用before和after画出来: ?...没有用到一行js代码,你可以试一试;这个主要是结合:checked和counter,用before/after纯CSS实现,这种纯粹是炫技; 4.平行四边形 有没有办法只让容器形状倾斜而保持其内容不变呢...解决方案: 三维世界旋转一个矩形,由于透视关系,我们二维图像上看到一个梯形,再结合平行四边实现方法便能实现 perspective: 观察者与z=0平面的距离; 对元素使用了3D变形之后,其内部变形效应是...欢迎大家评论底下一一补充 欢迎学习交流sunseekers

95520

腾讯轻联X CODING,产研团队协同更轻松

而现在仅需腾讯轻联配置好工作 ,产品经理通过在线文档评审完毕后,或者设计师CoDesign 创建设计文件时,自动创建 CODING 任务,免去多个平台来回跳转,重复填写时间。...同时,还可以解锁更多自动化玩法,例如任务已完成后自动将任务信息同步至在线表格,便于定期进行任务量核查;或者设计师视觉走查时,可以设计稿评论主动@测试,告知其问题所在位置,就能自动 CODING...零代码配置,协作消息实时触达 如果你也苦恼协同开发工作消息太多,没办法及时跟进处理;想要实时获取产品评论、开发进展等最新协作信息,希望企业IM可以实现实时通知,方便及时跟进。...腾讯轻联&CODING准备了多个集成模板,自动串联企业微信、飞书、钉钉,即使没有代码基础,也能轻松实现: ● 新分配任务自动通知到人,消息同步准确。 ● 任务即将到期自动提醒,消息同步及时。...共同探索创新解决方案,为用户带来更加极致云端协同体验,助力用户实现卓越工作效能和业务成果,共同开创协同办公领域新篇章。

22220

如何在自有app实现音视频播放功能?

互联网发展下半场,随着头部互联网平台布局与垂直领域应用发展,直播行业将迎来更多元化应用场景,潜在用户规模将继续扩大,而小程序直播就应运而生。为什么选择小程序直播?...1)开发成本低,开发周期短,基本和H5开发难度差不多;2)很容易传播和获客,可充分利用社交平台优质流量;3)可以推和拉,允许实现连麦直播和实时语音视频通话。能不能在自有APP上实现小程序直播?...不重复造轮子情况下,有没有什么办法可以让自己APP也能具备小程序运行能力,更好承接私域流量,而且对于现有的一些社交APP而言,有没有什么办法将传统H5直播技术更替为小程序直播技术,使得更容易传播裂变目前市面上其实已经提供类似服务...当APP集成FinClip SDK ,即可在自有APP实现小程序运行和上架,并且通过结合音视频服务插件,可让小程序轻松具备小程序视频直播、连麦互动、即使通信等功能,同时利用小程序形式进一步降低用户使用门槛...FinClip凭借插件化、嵌入式、轻量而灵活产品特点及行业领先优势已经赋能银行、证券、政企、电商、航空、园区、零售等多个行业,无界开放银行、数字券商、监管与合规科技、电子政务、信创等方面形成较有特色创新应用案例

60510

摹客iDoc 新功能“柔性工作”,让设计随需而动

也就是说,主线是固定,流程有一个固定步骤,但主线某一个或多个节点使用自由流程方式转交,且互不干扰。 相较普通工作,柔性工作流在其基础上实现了随需而动、业务复用,改善业务流程,提升团队效率。...“设计”这条主线上,根据场景又进一步划分为3个节点:“评论>定稿>开发”,这3个模式可自由切换,按需选择,这样,1条设计主线把协作场景简单流程化,3个节点又自由流动地辅助流程,形成摹客iDoc“柔性工作...iDoc“柔性工作”,团队协作难问题是通过“一条主线多个节点”工作解决: 1....粉丝准备了专属福利,大家可以通过升级码 jingdesign91获得团队版升级体验,感受更加高阶功能。...hmsr=vincent 第二步输入升级码:jingdesign91 iDoc柔性工作出现绝非偶然,而是基于用户真实体验反馈而诞生,摹客iDoc真心感谢每一位用户,你们使用,是摹客试金石,你们反馈

43510

双链笔记 Roam Research 综合评测、学习资源、使用教程分享

Roam 价格对于大陆用户而言太贵,有没有低价或者免费使用办法?视频:用 Roam Research 到底得花多少钱?...与此同时,也支持同步块,方便 Block 内容知识复用 。此外,支持页面动态和评论功能。简单表格:支持简单表格,满足用户对于表格轻量化需求。...此外,支持引用多维表格功能,方便用户多个页面中共享 Database模版功能:模版按钮+模版市场。强大、多样化、个性化模版可以满足不同用户使用需求。...像网盘应用一样,FlowUs 允许用户将自己常用办公文件以文件夹或者多个文件形式一键上传至笔记空间之中。并且,FlowUs 允许用户免费在线预览文件夹页面办公文件。...不少相同功能上,FlowUs 为用户提供了更多使用权益。比如,五人以下小组版免费,而这个功能在 Notion 等软件是收费

1.7K30

如果你评论被WordPressAkismet插件屏蔽,怎么解封?

Wordpress用户中使用最多,z-blog也有用户在用,由于垃圾评论发送成本越来越廉价,尤其是某些“公司”然能用5毛钱就请到一个发spam的人,垃圾评论已经占据了所有互联网评论绝大部分。   ...最简单办法就是换一个其他网址就可以!还有其他办法可以解决,到Akismet Contact 页面联系他们,告诉他们你被Akismet 误判了,能不能帮忙从黑名单删除?...然后massage写下你意见, 参考一下这范文:   My comments get caught by akismet by mistake....然后等上几天,如果收到对方来信,告诉你他已经帮你从黑名单删除,你测试下还有没有问题,有问题去再次联系他。如果你被删除了,你也要记得回复邮件给他,表示感谢。这是最基本礼貌,呵呵!...如果他们联系你,你可以试着提交几次。   Akismet发挥着巨大作用同时,也存在着这样那样问题,尽管如此我仍然认为它们是目前最好屏蔽垃圾评论方案。

45020
领券