最近，机器学习工程师 Santosh Gupta 在使用 TensorFlow 时发现了一个问题：使用 Keras 功能 API 创建的模型自定义层中的权重无法进行梯度更新。...目前，TensorFlow 的情况是这样的：如果第一个参数中的所有输入来自其他 Keras 层，则当前层进入「functional api construction」模式。...但是，你的第一个位置参数输入中包含 None，因此，无法触发「functional api construction」模式。...在这篇帖子的评论中，有网友复现了这个 bug，并表示震惊：「这个 bug 到底存在多久了？！这是不是意味着用这种方式训练的每一个模型都失效了，基于这些模型的每一篇研究论文的结果也会被拖累。」...下面这句评论或许最能反映广大开发者的心态： 「这将破坏用户对 TensorFlow 的信任，可能有更多的开发者转用 PyTorch。」
《Learning Spark》这本书算是Spark入门的必读书了，中文版是《Spark快速大数据分析》，不过豆瓣书评很有意思的是，英文原版评分7.4，评论都说入门而已深入不足，中文译版评分8.4，评论一片好评...还有一种情况，如果我们想多次使用同一个RDD，每次都对RDD进行Action操作的话，会极大的消耗Spark的内存，这种情况下，我们可以使用RDD.persist()把这个RDD缓存下来，在内存不足时，...4 5 aggregate( ):和fold类似，但通常返回不同类型的函数。 6 7 注：关于fold()和aggregate(),再说点题外话。...那就得用到aggregate()了，使用aggregate时，需要提供初始值(初始值的类型与最终返回的类型相同)，然后通过一个函数把一RDD的元素合并起来放到累加器里，再提供一个函数将累加器两两相加。...最后来讲讲如何向Spark传递函数： 两种方式： 1.简单的函数：lambda表达式。 适合比较短的函数，不支持多语句函数和无返回值的语句。
一个简易的评论系统（在线社区平台）通常包含以下功能用户评论：用户可以对某个产品、主题进行评论，包括文字评论。评论展示：所有用户的评论将会在产品或服务页面下方展示，其他用户可以查看。...设计概要实体分析基于前面的需求分析，一个简易的评论系统，一般会包含三个实体：User： 自然人，发表主题和评论的人Subject： 主题，用户发表的主题，被评论的对象Comment： 评论或回复，评论和回复需要归属于某个...评论系统中最核心的实体。模块设计简易评论系统设计 Comment-BFF： BFF层，用于接收和处理来自C端用户的请求（包括读、写评论），并返回结果。...更新时间deleted_timeDATETIME删除时间reply_to_comment_id和reply_to_user_id 只有当当前评论是对二级评论的回复是时为非NULL，因为我们的评论系统是二级嵌套结构...性能设计缓存设计热门数据缓存：对于访问频率高的数据，如热门帖子的评论，可以将其缓存到内存中，如使用Redis等内存数据库。当用户请求这些数据时，可以直接从缓存中获取，而不需要查询数据库。
一个简易的评论系统（在线社区平台）通常包含以下功能 用户评论：用户可以对某个产品、主题进行评论，包括文字评论。 评论展示：所有用户的评论将会在产品或服务页面下方展示，其他用户可以查看。...设计概要 实体分析 基于前面的需求分析，一个简易的评论系统，一般会包含三个实体： User：自然人，发表主题和评论的人 Subject： 主题，用户发表的主题，被评论的对象 Comment： 评论或回复...评论系统中最核心的实体。 模块设计 Comment-BFF： BFF层，用于接收和处理来自C端用户的请求（包括读、写评论），并返回结果。...当Cache Miss时，处理用户的读请求，从MySQL中读取数据，更新缓存，并返回给用户。 Comment-Admin： 评论的管理服务，（置顶、删除、检索等）。...性能设计 缓存设计 热门数据缓存：对于访问频率高的数据，如热门帖子的评论，可以将其缓存到内存中，如使用Redis等内存数据库。当用户请求这些数据时，可以直接从缓存中获取，而不需要查询数据库。
2）Nested嵌套类型 本文通过一个例子将Nested类型适合解决的问题、应用场景、使用方法串起来， 文中所有的DSL都在Elasticsearch6.X+验证通过。..."comment": "Very good post", 26 "commented_on": "20 Nov 2017" 27 } 28 ] 29} 如上所示，所以我们有一个文档描述了一个帖子和一个包含帖子上所有评论的内部对象评论...但是Elasticsearch搜索中的内部对象并不像我们期望的那样工作。 2.2 问题出现 现在假设我们想查找用户{name：john，age：34}评论过的所有博客帖子。...这里的问题是elasticsearch（lucene）使用的库没有内部对象的概念，因此内部对象被扁平化为一个简单的字段名称和值列表。...否则查询可能会返回无效的结果文档。 更新认知是非常痛苦的，不确定的问题只有亲手实践才能检验真知。
首先，要实现脚本自动评论，我们先通过抓包软件了解一个评论的过程用到了哪些链接和数据 这里用黄鸟抓包发现，一个评论总共产生了三条数据 经过判断，中间这条post数据解析到了刚刚提交的评论数据 接着我们来详细分析一下这条数据包...id的帖子存在话题被删除或者话题不存在等等状况，在执行代码的过程中是很影响效率的 所以需要有一个脚本专门用来收集有效帖子id 首先我们还是通过抓包来获取帖子的主体信息，最终我们得到这样一个url http...post_id=1 这个url返回的是一串json结构的数据，我们格式化一下方便看清结构 我们再来看一个被删除的帖子链接 http://floor.huluxia.com/post/detail/ANDROID...post_id=%s" 接着我们写一个for循环并从1开始依次赋值，用以遍历帖子id，并使用json.loads解析返回的json数据 for post_id in range(1, 50000000)...： 帖子被删除的状态，返回的title是/ 话题已删除 / 帖子不存在的状态，返回的json中有个键值对是"code":104 除去这两种状态，剩下的即为正常 由此可以写出一个if-elif循环来匹配字符串
显示正确的评论量 有两处地方显示的评论量，显示评论量的方法很简单。回顾一下我们是如何获取某篇 post 的下的评论列表的？我们使用的是 post.comment_set.all()。...all 方法返回该 post 关联的评论列表。...此外模型管理器（comment_set 是一个特殊的模型管理器）还有一个 count 方法，返回的是数量，即 post 下有多少条评论，我们可以直接在模板中调用这个方法：{{ post.comment_set.count...包括如何编写模型（Model）、如何编写视图函数（View）、如何使用 Django 内置的模板系统（Template）以及如何配置路由（URL），这四大模块是 Django 开发的核心所在，现在我们已经能够基本掌握这些模块的使用方法了...Django 提供的不仅仅是这些，我们的博客也不仅仅只有这些功能。如何实现标签云效果？如何给博客提供 RSS 订阅服务？如果实现文章搜索？如果网站需要提供用户系统，如何实现用户的注册登录？
这个原则认为：“一个类应该仅仅只有一个被修改的理由。”换句话说，每个类都应该只有一种职责。 而在上面的代码中， HNTopPostsSpider 这个类违反了这个原则。...“开放-关闭原则”告诉我们，类应该通过扩展而不是修改的方式改变自己的行为。那么我应该如何调整代码，让它可以遵循原则呢？ 使用类继承来改造代码 继承是面向对象理论中最重要的概念之一。...已省略 ...> post = Post( ... ... ) # 使用测试方法来判断是否返回该帖子 if self.interested_in_post...已省略 ...> post = Post( ... ... ) # 使用测试方法来判断是否返回该帖子 if self.post_filter.validate...如何选择合适的方式来让代码符合“开放-关闭原则”，需要根据具体的需求和场景来判断。这也是一个无法一蹴而就、需要大量练习和经验积累的过程。
关联关系 One To One 假设User模型关联了Phone模型，要定义这样一个关联，需要在User模型中定义一个phone方法，该方法返回一个hasOne方法定义的关联 <?...，假设这样一个场景，我们有一个帖子表和一个评论表，用户既可以对帖子执行喜欢操作，也可以对评论执行喜欢操作，这样的情况下该怎么处理呢？...::find(1); $likeable = $like->likeable; 上面的例子中，返回的likeable会根据该记录的类型返回帖子或者评论。...查询关系存在性 使用has方法可以基于关系的存在性返回结果 // 检索至少有一个评论的所有帖子......更新父模型的时间戳 假设场景如下，我们为一个帖子增加了一个新的评论，我们希望这个时候帖子的更新时间会相应的改变，这种行为在Eloquent中是非常容易实现的。
大家好，又见面了~ kafka作为一种高吞吐量的分布式发布订阅消息系统，在业务系统中被广泛的使用。 如果问你，如何提高kafka队列中的消息消费速度呢？...先简单说下遇到的业务场景： 一个互动类的论坛的帖子评论处理场景，要求每个帖子的评论请求操作都必须要严格遵循一定的顺序（比如可能会有评论删除、引用评论、回复评论等操作，所以请求顺序必须要严格按照顺序处理）...即对于同一个帖子的所有评论相关的操作必须要同步处理，对于不同帖子的评论相关操作并没有顺序的要求。那么问题就简单了，只要保证同一个帖子的所有评论相关操作请求都被分发到同一个topic分区内即可！...ID字段，所以分发策略也很简单，直接帖子ID % 分片数将消息进行分发，这样同一个帖子ID的评论操作就都可以到同一个分片中，这样顺序的问题就解决了。...举个例子，如果突然有一条帖子爆火，这条帖子的评论量远超其余帖子的评论量，甚至远超整个系统的额定最大负载请求量，这样会出现个问题： kafka某一个分片数据量积压严重，其余分片很空闲 该条火爆的帖子的相关评论请求
Echo 这个项目数据库设计并不复杂，需要我们手动设计的只有四张表： 帖子表：discuss_post 评论表：comment 用户表：user 私信表：message 用户表 ?...未激活的用户同样无法正常使用某些功能比如发表帖子等 1 - 已激活：用户点击邮箱中的激活链接进行验证成功，就会将状态从未激活改成已激活 activation_code：激活码。...比如用户 admin 发了一个帖子，用户 master 评论了这个帖子，那么这里的 target_id 存储的就是用户 admin 的 id。）...content：评论/回复的内容 status：评论/回复状态 0 - 正常（默认） 1 - 禁用（暂未使用） create_time：评论/回复发布时间 ?...（默认） 1 - 已读 2 - 删除（暂未使用） create_time：私信/系统通知的发送时间
【导读】Facebook的基础AI算法是如何驱动社交网络的发展。我们来一览这篇文章。 Instagram工程师曾在2016年接到一个艰巨的任务。...一个有针对性的经过整理的产品可能有一天被历史学家视为像蒸汽机一样的里程碑。 只有这种引人注目的引擎才能被恶人利用，甚至可能不利于我们的民主，即使它正常地发挥了它的功能。...如此多的Facebook工程师可以使用其AI算法，而不必知道如何构建它们，系统是“一个非常模块化的分层蛋糕，您可以在任何级别插入您想要的”。他补充说，这个功能很难描述。...创建该帖子的人激活了“建议”功能;其他人通过对零售商地址的评论发表评论。 坎德拉先生说，团队为Facebook的主算法添加了新功能，以“增加社会互动价值”。行政总裁马克?...然而，它的措辞是衡量人们与Facebook的应用和网络互动的方式，不管是增加他们喜欢或评论的帖子的数量，或者他们找到机器翻译的帖子有多有用，或者他们多久使用M，坎德拉先生说，Facebook的基于Messenger
最近分享了几篇MQ相关的文章： 《MQ如何实现延时消息》 《MQ如何实现消息必达》 《MQ如何实现幂等性》 不少网友询问，究竟什么时候使用MQ，MQ究竟适合什么场景，故有了此文。...无论如何，记住这个结论：调用方实时依赖执行结果的业务场景，请使用调用，而不是MQ。...，容易出错 4）如果有一个任务的执行时间要调整，将会有多个任务的执行时间要调整 无论如何，采用“cron排班表”的方法，各任务耦合，谁用过谁痛谁知道（采用此法的请评论留言） ?...这种方法的坏处是： 1）帖子发布流程的执行时间增加了 2）下游服务当机，可能导致帖子发布服务受影响，上下游逻辑+物理依赖严重 3）每当增加一个需要知道“帖子发布成功”信息的下游，修改代码的是帖子发布服务...五、总结 MQ是一个互联网架构中常见的解耦利器。 什么时候不使用MQ？ 上游实时关注执行结果 什么时候使用MQ？ 1）数据驱动的任务依赖 2）上游不关心多下游执行结果 3）异步返回执行时间长
所以网络中的评论内容是对于抓住民众舆情倾向的一个宝贵财富。民众舆情是人民群众通过表达自己的意见而可以预见未来事务的发展走向。...通常情况下，在某个事件发生之后，网民们会通过各种途径了解事情的来龙去脉，一个短短的贴吧帖子，往往会引来数以千计的留言和评论。...(二)系统功能模块设计 本系统主要实现三个功能：内容爬取、帖子搜索和中文情感倾向性分析，而中文分词部分使用流行且准确性高的中科院中文分词算法，故此功能不再赘述。...用户通过标题检索，输入的关键词通过中科院中文分词处理后进入到数据库的标题倒排索引表匹配，返回到前台处理并返回相应的标题ID。...因为在先前步骤中已经完成了主题信息及评论内容的抓取功能，所以主要信息已入后台数据库中。当查询成功时，返回词ID，并将主题内容和评论信息显示在用户界面上；当查询不到主题时，返回失败信息。
心情不好的时候更容易成为喷子 根据以往关于反社会行为的研究，研究人员决定专注于情绪和情境如何影响人们在社交媒体上的发言。 他们搭建了一个两部分的实验，通过众包平台招募了667个参与者。...研究人员进一步调查情绪的影响，发现如果一个人以前的言论曾经被标记为喷子，或者他们参加过他人发起的被标记的帖子或者讨论，那么这个人更有可能发布被标记为喷子的帖子。 无论曾经和之后的文章有没有联系。...只要有一个人冒出愤怒，就可以创造出火花，并且，因为讨论的情境和点赞/差评，这些火花可以衍生出一系列不良行为。 不好的对话只能让对话变得更糟。 受到贬低的人更容易返回来，然后评论更多，评论更糟。...预测喷子行为 作为他们研究的最后一步，团队创建了一个机器学习算法，任务在于预测一个人写的下一篇评论是否被标记喷子。...结果显示，讨论中上一篇帖子的标记状态是下一篇帖子是否被标记的最强预测因素。 情绪相关的特征，如评论者的评论时间和以前的标记，远起不到预测的作用。
抓取豆瓣小组讨论贴列表，并通过列表中各帖子链接获取帖子的详细内容（评论文本）。两部分数据都写入在网页html源码中，基本不涉及ajax请求。...get_discussion_list(base_url)：获取豆瓣指定小组的所有讨论贴列表数据，返回DataFrame。...get_topic_info(url_list)：根据讨论贴url列表，获取讨论贴的基本信息，返回DataFrame。...） 【大家好，原组长已经跑路，并把组长转让给了第一个回她消息的我。...每条讨论的所有回复内容 文件名：discussion_reply.csv 说明：获取每条讨论帖子下面的评论内容和评论之间的回复关系。
urls 这里新的问题出现了，一条XHR请求还是只有12张图片啊，这位博主一共有近500条帖子，仅为了12张图片就要去看XHR请求复制url一次也太反人类了。于是开始分析XHR请求的url。...应该就是该博主的一个id序列，而这里的first参数则应该是每次XHR请求返回的图片url的数量。...第一次下载只有62张图片，于是新建一个文件夹重新下载，还是只有62张图片。其中前12张是从HTML文件总取得的，那么后面这50张图片应该就是该XHR请求返回的urls。...最后的小问题 429状态码 若博主帖子数目太多中途请求json的时候会返回一个429的状态码。...初学不久， 如有相关术语使用错误欢迎评论或私信指正， 如有其它错误也欢迎评论或私信指正， 如有上述小问题的解决方法或其它问题欢迎私信交流， 最后，欢迎评论推荐Ins博主 (๑>◡<๑) 原创作品
推广的帖子和评论会由于违反版规变成 dead ，即使没有变成 dead，HN 上的读者也是非常讨厌看到这一类内容的。...下面第一个标题和评论就是一个负面案例，作者急于用一些“漂亮”的形容词在标题和评论中展示自己的产品是多么的“牛 x”，这样的结果就会直接导致帖子被标记为 dead。...中间每经过额外一跳，你的转化率都会下降。根据我们经验从 HN 上过来的流量，也只有约 10\%左右会真的 Star。...取好标题在 HN 上，每时每刻都会有新的内容出来将你的排名挤下去。如何在最短时间内吸引他人的关注就会变得十分重要。...如果很多热帖也都是使用一样的单词，那么可以认为其是非常推荐使用的 初期的评论和点赞初期的点赞和评论也是很重要的。
引言 在之前的 Django模型设计 中简单的介绍了如何利用模型类对数据库进行增删改查，在这篇中主要介绍使用模型类对数据库进行条件查询。让大家更加熟悉 Django 操作数据库。...答：使用 F对象，被定义在 django.db.models 中。 语法如下： F(属性名) 例：查询阅读量大于等于评论量的图书。...例：查询阅读量大于2倍评论量的图书。...from django.db.models import Sum ... books = BookInfo.objects.aggregate(Sum('read')) 注意：aggregate 的返回值是一个字典类型...books = BookInfo.objects.count() 注意：count函数的返回值是一个数字。
aggregate(Avg('price')) aggregate()是 QuerySet 的一个终止子句，意思是说，它返回一个包含一些键值对的字典。...Book.objects.aggregate(average_price=Avg('price')) 如果你希望生成不止一个聚合值，你可以向 aggregate()子句中添加另一个参数。...，就不能直接比较，必须借助 F()的实例，可以在查询中引用字段，来比较同一个 model 实例中两个不同字段的值。...语法 from django.db.models import F fliter(commit_num_gt=F('read_num')) F 查询的使用 # 查询评论数大于阅读数的书 book = models.Book.objects.filter...(commit_num__gt=F('read_num')).values('name') # 把所有书的评论数加1 models.Book.objects.all().update(commit_num
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
