首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >大型RSS阅读器的工作原理(netvibes、Google reader...)

大型RSS阅读器的工作原理(netvibes、Google reader...)
EN

Stack Overflow用户
提问于 2010-10-17 00:20:21
回答 1查看 5.9K关注 0票数 23

我想知道像Google Reader,Blogline,techronati这样的web应用程序是如何工作的,以及它们遵循什么技术来使用cron job一次解析数百万个RSS提要?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2010-10-17 00:35:52

有很多不同的技术..。“最糟糕的”就是你所描述的那个。(基于时间的轮询)

您需要考虑的第一件事是,它们可能并不都在服务器端进行解析。例如,我知道Netvibes在客户端进行解析(但在服务器上缓存内容),因此为他们节省了大量资源。这样,它们只会在用户请求时才轮询提要,因此不需要运行某种时间循环。

不幸的是,基于时间的轮询仍然是最常见的解决方案。有很多技术可以确定何时是进行民意调查的最佳时机。根据过去的更新频率,基于暂停的用户数量...这些人也可以使用旧的XML-RPC ping服务器。

最有效的技术是使用PubSubHubbub,这是一个开放的协议,谷歌阅读器,Netvibes和其他几千个应用程序(如Digg.com,Twitterfeed,Friendfeed...)。它是一个开放的协议,允许提要发布者直接将提要的内容推送到订阅应用程序。它非常高效,但需要发布者来实现它。一个偶然的机会,所有的大博客平台 (Tumblr,Posterous,Wordpress,Blogger,SixApart...等)已经实现了它。其他feed发布应用程序(如feedburner、Gowalla等)也实现了它。如果你确实发布了提要,我会鼓励你加入这个群体,如果你打算消费一些提要,请也实现susbcriber这一端。

最后一个解决方案是使用第三方应用程序进行数据收集(使用上面的所有技术),并在这些提要实际有新内容时对您执行ping操作。我创建了一个:Superfeedr,我相信我们在这方面做得很好。我们还对内容进行了标准化,并做了一些其他事情来帮助您以最简单、最便宜的方式使用提要数据(轮询可能非常昂贵)。此外,我们使用完全相同的PubSubHubbub协议来推送来自任何提要的内容,这使得我们的用户除了订阅可用的集线器之外,还可以非常简单地使用我们的服务。

此外,我应该补充说,我能够快速回复您的问题,因为我使用了一个应用程序,该应用程序会向我推送标记为RSS的问题的提要内容:)

票数 46
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/3949688

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档