它包括状态更新、照片、视频、链接、应用程序活动以及来自用户访问的人员、页面和组的“喜好”。关注Facebook。...2.系统的要求和目标 让我们根据以下要求为Facebook设计一个新闻提要： 功能要求： 1.新闻提要将基于用户访问的人员、页面和组的帖子生成跟随。...类似地，我们可以有一个FeedMedia关系表 image.png 6.高层系统设计 从高层次上讲，该问题可分为两部分： 提要生成：新闻提要是从用户和实体（页面和页面）的帖子（或提要项）生成的用户遵循的组...这里需要注意的一点是，我们生成了一次提要并将其存储在缓存中。新的呢从Jane关注的人那里收到的帖子？如果Jane在线，我们应该有一个排名机制并将这些新帖子添加到她的提要中。...2.应用服务器：执行在数据库服务器中存储新帖子的工作流。我们还需要一些应用服务器来检索新闻提要并将其推送到最终用户。 3.元数据数据库和缓存：存储用户、页面和组的元数据。
这些视频将向你展示如何做基本的分析，例如： 从Facebook下载数据 从json转换为更方便的数据结构 处理Graph API中的日期变量和其他数据 第1课：介绍和了解Graph API 在本视频中，...第2课：下载并保存Facebook数据 在本视频中，我将向您展示如何从Facebook页面或Facebook群组下载并保存所有数据，并记住某些要点。...第3课：设置和清理数据 在第三课中，我将使用notebook来清理和审计从Facebook获得的数据，并为分析做好准备。...第4课：评论最多的帖子 在第四课中，我将向您展示一种简单的方式，以获得评论最多的帖子。...https://v.qq.com/x/page/r0609s6vt80.html 第6课：计算词频 在这个视频中，我将向您展示如何数一个组或一个页面中的所有帖子词频。
但十多年来，它一直主宰着 API 领域。 最近，由 Facebook 设计的新手 GraphQL 变得越来越流行。它的目的是纠正REST的一些缺点，但没有一项技术是完美的。...例如，在 REST 中，您需要向 /api/posts 发送 GET 请求来获取帖子，该请求可能会返回一个 JSON 对象，其中包含帖子标题、内容、标记、日期，可能还有用户 ID。...在 REST API 中，当您到达一个端点时，总是会得到相同的数据，无论您是否需要它。 假设我们只需要某人的用户名和头像。...要显示单个用户的帖子，我们需要用户信息和帖子的内容。如果我从用户端点获取用户，我仍然需要点击 posts 端点，并使用 userid 检索 posts。...如果你没有在适当的地方构建缓存，那么你从 GraphQL 更有针对性的获取中获得的所有提高的效率都可能被抹去。
Facebook CTO Mike Schroepfer在博客中详细介绍了新的第三方用户信息权限，包括9大变化： Events API：此前，人们可以授予应用获取关于他们主持或参加的活动信息的权限，包括私人活动...Groups API：目前，应用程序需要 Groups 的管理员或成员的权限才能访问封闭组的内容，以及需要管理员的同意才能访问对私密组。 这些应用程序可帮助管理员轻松发布和回复组内的帖子。...但是，我们希望确保更好地保护群组中的成员和对话信息。未来，使用Groups API的所有第三方应用程序都需要Facebook和管理员的批准，以确保他们不损害群组。应用程序将不再能够访问组内成员列表。...此外，我们还删除了应用程序可以访问的帖子或评论的个人信息，例如姓名和个人资料照片。 Pages API：此前，任何应用程序都可以使用Pages API从任何页面读取帖子或评论。...“生活就是从错误中吸取教训，”扎克伯格周三在与记者的电话会议中说： “不论如何，这是我的责任，我开创了Facebook，我运营它，我负责。”
回想一下你最近点赞的帖子——非常可能是包含图片或视频的。...反过来，这也有助于我们更好地为视觉障碍者描述图片，并为带有图片和视频的帖子提供更好的搜索结果。...创建“AI工厂” 为了将 AI 编入到 Facebook 的工程结构中，我们首先需要一个通用的平台，以让我们的工程师能够大规模地利用它。...Lumos 允许通过检索和聚类的组合来生成训练数据。给定一组标签或检索项，平台可以检索具有匹配那些标签的图片说明的部分公共照片。...构建此系统的一种方法是从图像中提取预测的概念和类别，然后解析查询项以链接到实体并提取概念，然后使用相似性函数来确定两组概念的相关性。
再比如：前端需要显示作者的帖子信息，作者本人的信息，作者的关注者列表，假如是 REST，前端需要请求这三个接口，再组装： /user/获取用户（作者）详细信息，可能是名称。.../user//posts 获取该用户发布的帖子列表。 /user//followers 获取用户的关注者列表。...现在我们可以通过 GraphQL 的一次查询拿到全部信息，无需从好几个异步 API 里面来回找： query { User(id: '123') { name posts {...GraphQL 的使用趋势 一些比较有名的公司正在转换 REST API 到 GraphQL，比如 Twitter、IBM、Coursera、Airbnb、Facebook、Github、携程等，特别是...GraphQL 的优势 检索精确的数据，没有冗余。通常，当数据需求发生变化时，您只需要修改查询，并且不需要太多更改，从而提高前后端的开发效率，可以快速进行产品迭代。
人工智能理所当然地在科技界引起了热议，因为它不但有潜力转变所有形式的数字服务，而且还有可能为人类面临的所有问题都带来突破，从战胜致命疾病到应对全球变暖。...在今年早些时候的公司年度大会上，扎克伯格明确表示在 Facebook 为保持在社交媒体上和科技行业中的领先地位而制定的十年计划中，人工智能将是其中一大核心支柱。...41 岁的 Facebook CTO Mike Schroepfer 负责监督语言技术组和公司的其它人工智能方面的工作，他说：「如果你用我们的系统去翻译网页，它很可能翻译得很槽糕，但在我们关心的使用场景中它是真正最优的...语言技术组的第三个分支是会话理解（conversational understanding），这是目前 FAIR 的头等大事。文本理解是精确调节（curating）相关帖子、评论和搜索结果的关键。...然而，其执行的发送星象、预订餐厅、订购童车、降低有线电视费或检索事实等范围很广的任务表明这些是 Facebook 计划在未来实现自动化的任务——那种不需要用户记住代码或指令的自动化。
其中社论数据长期保存以供检索（可回溯到2009年），社交帖子数据保存近15个月的。当前的主分片数据使用了大约200 TB的磁盘空间，副本数据大约600 TB。...Meltwater每天要处理数百万量级的帖子数据，因此需要一种能处理该量级数据的存储和检索技术。 ? 从0.11.X 版本开始我们就已经是Elasticsearch的忠实用户了。...Elasticsearch用于支持我们的主要媒体监控应用，客户通过该应用可以检索和分析媒体数据，比如新闻文章、（公开的）Facebook帖子、Instagram帖子、博客和微博。...我们通过使用一个混合API来收集这些内容，并爬取和稍作加工，使得它们可被Elasticsearch检索到。 本文将分享我们所学到的经验、如何调优Elasticsearch，以及要绕过的一些陷阱。...即便如此，仍可给出一些从基础到进阶的参考： 限制你的检索范围，仅涉及相关数据。比如，对于每日索引库，只按相关日期范围检索。对于检索范围中间的索引，避免使用范围查询/过滤器。
IGQL 正是为解决这个问题而创建的工具，它是一种专门用于在推荐系统中检索候选对象的领域特定语言。经 C++优化后，IGQL 可在不牺牲可扩展性的情况下最大程度地降低延迟，从而减少计算资源消耗。...基于此，我们做了一个 KNN 查找，以找到嵌入中任何帐户的局部相似帐户。我们的嵌入覆盖了数百万个账户，并使用 Facebook 最先进的近邻检索引擎 FAISS 作为支持检索的基础设施。...我们从更复杂的排序模型中记录其所具有的特征和输出候选项；然后用有限的特征集和简单的神经网络模型结构对蒸馏模型进行训练以复制结果。...如果我们认为一个人在 Explore 中保存一个帖子的重要性高于他们喜欢的帖子，那么「保存」行为的权重应该更高。...具体而言，模型通过添加「惩罚」因子来降低来自同一媒体或同一种子帐户帖子的排序，因此在 Explore 推荐中，很难看到来自同一个人或同一种子帐户的多个帖子；而且这种推荐方式会随着你遇到更多来自同一作者的帖子而加强
基于此，团队创建并发布了一种自定义的指定域元语言——IGQL，它可以提供正确的抽象级别，并将所有算法组装到某一位置中。 IGQL语言是一种针对在推荐系统中检索候选对象然后进行优化的特定领域语言。...我们的嵌入版本覆盖了数百万个账户，并且使用 Facebook 最先进的最近邻检索引擎 FAISS，作为支持检索的基础架构。 ?...我们从更复杂的排名模型中记录具有特征和输出的输入候选对象。然后基于这些记录数据，用有限的特征集和一个更简单的神经网络模型结构对蒸馏模型进行训练并复制结果。...利用这一技术，我们可以有效地评估更大的一组媒体，以便在控制计算资源的同时，在每个排名请求中可以找到最相关的媒体。...然后，对于每一个排名的请求，为一个普通用户确定数千个符合条件的媒体，从符合条件的清单中抽取出500个候选对象，然后将这些候选对象发送到下游的排名阶段。
为了验证假设，研究者挑选了 689003 名 Facebook 用户，然后分成两组，将其中一组用户的带消极情绪的帖子剔除，并将另一组用户带积极情绪的帖子剔除。...研究结果表明，当用户看到朋友的情绪积极的帖子变少后，自己发布的积极帖子也会变少而消极帖子增多；反之亦然。...这表明用户在社交网络上的情绪具有传染性，也推翻了以往那种认为看到朋友积极的帖子会令人消极的观点。这次研究也表明，要想让用户感觉变好，社交网络可以在动态消息中多添加一些正能量。...Adam Kramer 对此还在 Facebook 上发表了一篇据她称可充当官方声明的帖子，对此进行了解释。...她说，Facebook 进行此项研究的目的是为了探究 Facebook 及其用户的情绪影响以便更好改进服务。
为了解决这个问题，我们创建并提供了 IGQL，这是一种专门用于在推荐系统中检索候选对象的领域特定语言。它的执行是在 c++中优化的，这有助于最小化延迟和计算资源。...如果一个人与一个账户在同一个会话序列中，相比于从各种各样的 Instagram 账户中得到的随机序列，它更有可能是主题连贯的。这有助于我们识别局部相似的帐户。...基于此，我们做一个 KNN 查找来查找嵌入中的任何帐户的主题相似的帐户。我们的嵌入覆盖了数百万个账户，我们使用 Facebook 最先进的近邻检索引擎 FAISS作为支持的检索基础设施。 ?...我们从更复杂的排序模型中记录具有特征和输出的候选输入。然后，用一组有限的特征和一种更简单的神经网络模型结构对这些记录数据进行训练，以复制结果。...然后，对于每个排名请求，我们为一个普通人识别数千个合格的媒体，从合格的目录中抽取 500 个候选人作为样本，然后将候选人发送到下游的排名阶段。
Elasticsearch 用于支持我们的主要媒体监控应用，客户通过该应用可以检索和分析媒体数据，比如新闻文章、（公开的）Facebook 帖子、Instagram 帖子、博客和微博。...我们通过使用一个混合API来收集这些内容，并爬取和稍作加工，使得它们可被Elasticsearch检索到。 本文将分享我们所学到的经验、如何调优 Elasticsearch，以及要绕过的一些陷阱。...其中社论数据长期保存以供检索（可回溯到2009年），社交帖子数据保存近15个月的。当前的主分片数据使用了大约200 TB的磁盘空间，副本数据大约600 TB。 我们的业务每分钟有3千次请求。...我们同时使用 Terraform 自动扩容组来提供实例，并使用 Puppet 完成一切安装配置。...即便如此，仍可给出一些从基础到进阶的参考： 限制你的检索范围，仅涉及相关数据。比如，对于每日索引库，只按相关日期范围检索。对于检索范围中间的索引，避免使用范围查询/过滤器。
Meltwater每天要处理数百万量级的帖子数据，因此需要一种能处理该量级数据的存储和检索技术。 ? 从0.11.X 版本开始我们就已经是Elasticsearch的忠实用户了。...Elasticsearch用于支持我们的主要媒体监控应用，客户通过该应用可以检索和分析媒体数据，比如新闻文章、（公开的）Facebook帖子、Instagram帖子、博客和微博。...我们通过使用一个混合API来收集这些内容，并爬取和稍作加工，使得它们可被Elasticsearch检索到。 本文将分享我们所学到的经验、如何调优Elasticsearch，以及要绕过的一些陷阱。...其中社论数据长期保存以供检索（可回溯到2009年），社交帖子数据保存近15个月的。当前的主分片数据使用了大约200 TB的磁盘空间，副本数据大约600 TB。 我们的业务每分钟有3千次请求。...即便如此，仍可给出一些从基础到进阶的参考： 限制你的检索范围，仅涉及相关数据。比如，对于每日索引库，只按相关日期范围检索。对于检索范围中间的索引，避免使用范围查询/过滤器。
Elasticsearch 用于支持我们的主要媒体监控应用，客户通过该应用可以检索和分析媒体数据，比如新闻文章、（公开的）Facebook帖子、Instagram帖子、博客和微博。...我们通过使用一个混合API来收集这些内容，并爬取和稍作加工，使得它们可被 Elasticsearch 检索到。...其中社论数据长期保存以供检索（可回溯到2009年），社交帖子数据保存近15个月的。当前的主分片数据使用了大约200 TB的磁盘空间，副本数据大约600 TB。 我们的业务每分钟有3千次请求。...我们同时使用 Terraform 自动扩容组来提供实例，并使用 Puppet 完成一切安装配置。...即便如此，仍可给出一些从基础到进阶的参考： 限制你的检索范围，仅涉及相关数据。比如，对于每日索引库，只按相关日期范围检索。对于检索范围中间的索引，避免使用范围查询/过滤器。
在近日发表的一篇博客文章中，Facebook首次揭开了Explore内部的运行机制。...工程师能够以“类似Python”的方式编写推荐算法，并补充了帐户嵌入组件，可以识别局部高度相似的配置文件，并将其作为帐户级信息的检索流程的一部分。 ?...同时，Facebook的AI会搜索最近邻域检索库（FAISS）来查询数百万个帐户进行训练。...Facebook表示，在Explore中基于兴趣对账户进行排名，需要预测与每个账户相关度最高的内容，生成轻量级排名提炼模型，该模型在将候选账户传递给更复杂的排名模型之前，会对账户进行预选。...在2019年第三季度，Facebook删除了涉及自残内容数量达到84.5万条，其中主动检测到79.1％，在过去四个季度中，Facebook删除了超过99％的儿童裸体色情内容和剥削职位。
作者：Anton Hägerstrand 翻译：杨振涛 Meltwater每天要处理数百万量级的帖子数据，因此需要一种能处理该量级数据的存储和检索技术。 ?...Elasticsearch用于支持我们的主要媒体监控应用，客户通过该应用可以检索和分析媒体数据，比如新闻文章、（公开的）Facebook帖子、Instagram帖子、博客和微博。...我们通过使用一个混合API来收集这些内容，并爬取和稍作加工，使得它们可被Elasticsearch检索到。 本文将分享我们所学到的经验、如何调优Elasticsearch，以及要绕过的一些陷阱。...数据量 每天都有数量相当庞大的新闻和微博产生；在高峰期需要索引大约300多万社论文章，和近1亿条社交帖子数据。其中社论数据长期保存以供检索（可回溯到2009年），社交帖子数据保存近15个月的。...即便如此，仍可给出一些从基础到进阶的参考： 限制你的检索范围，仅涉及相关数据。比如，对于每日索引库，只按相关日期范围检索。对于检索范围中间的索引，避免使用范围查询/过滤器。
2.特点 资源 资源是应用程序通过其HTTP API公开的内容。资源可以是任何东西 - 应用程序中的用户配置文件，南极洲的温度传感器或游戏的高分。...例如，GitHub API公开组织，存储库，问题和拉取请求资源; 社交网络API具有配置文件，帖子和用户关系。...资源被组织成集合（例如，所有帖子），对于该集合，可以唯一地标识该集合中的各个资源（例如，单个帖子）。向应用程序发出请求以检索资源的状态或提供所需的资源状态。大多数情况下，资源表示为JSON数组和对象。...检索资源时，其JSON表示将编码到响应主体中。当提供所需的资源状态时，客户端在请求主体中发送所需资源状态的JSON表示。 路由 资源由HTTP请求的路径标识。...这种结构的好处是每个隔离区都有自己的一组服务，比如数据库连接。这消除了对“数据库连接池”等技术的需求，因为整个应用程序被有效地“合并”。
引言 最近，国外的开源情报(OSINT)爱好者分享了一篇帖子，查找朋友不可见的facebook用户的朋友圈，这篇帖子也在我们的知识星球（开源网络空间情报）中第一时间分享。...再通过这些用户作为跳板，也可以说支点，围绕这些用户，通过检索这些用户的朋友列表，分别找到这些用户的朋友。如果这些用户的朋友中有目标用户，再进行第二步。...第二步，检索这些用户的朋友的朋友列表最后形成一个闭合的环路或者直到他的朋友的好友列表是关闭的，将这些信息通过线的方式串联起来最后构成一个属于目标用户的关系网。...我们从图中无法看到扎克伯格的好友列表，这说明他隐藏了自己的好友列表，那么我们只能从评论他的人去发现与他是好友的人的关系，我们从他的评论中选出一个人Julie Zhou,从她的好友中我们能够找到Mark...CSV文件包含表单中的朋友列表、ID、名称，.gexf文件包含一个图形的表示形式，该图形可以在Gephi中打开(稍后会有更多信息)。程序最终自动终止后打印所有的朋友的信息如下图所示： ?
以下是 Spring XD 体系结构中的一些关键模块。 数据源（Source）：一个数据流的创建总会从创建数据源模块开始。数据源可以使用轮询机制或事件驱动机制获得数据，然后只会提供数据的输出。...Facebook 的帖子。...Facebook 获取帖子的逻辑 return // Facebook 帖子列表 } } @EnableBindings(Source.class)注解会检查相应的作为可绑定组件的接口类的实现是否存在...（要在应用的 classpath 中设置，参考 Redis），然后这一组件会构建相应的渠道适配器（channel adapters）。...一些作为数据处理器的微服务将根据输入的 SPEL 表达式过滤来自 FBSource 微服务的 Facebook 帖子，而数据处理器微服务的输出就会是 FBSink 微服务的输入。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
