问最有效的语言来创建一个非常快的网络爬虫？

EN

利用你所知道的。找到用于爬行/抓取的当前首选语言的库，然后只在遇到瓶颈时才优化到新的语言。

如果您使用Python，那么stdlib有足够的html文本提取来处理基本内容，如果您需要更复杂的内容，可以尝试bs3(注意:使用bs4，它比Python更好)。

理想情况下，您应该在后台进行抓取/爬行，并以某种方式将缓存写入本地数据库。比如MariaSql、Postgres、Sqlite (多达一百万页左右)，或者NoSQL解决方案之一。

如果你这样做了，并且你存储的格式是合理的标准，那么你可以很容易地替换代码，或者你以后使用的语言。

然后你可以把前面的web代码放在你喜欢的任何地方- php，python，任何东西，然后换成一个新的更高效的后端爬虫。如果你需要的话。