问网络优化时，web爬行-使用udp和使用连接池？

EN

连接池与网络爬行有什么关系？每个爬虫服务是否都在打开自己与主机的连接？

我认为您假设爬虫只向主机发送一次请求。情况并非如此，主机可能有数百页要爬行，每次打开连接都是无效的。

关于UDP -不是爬行向网络主机发出HTTP通过TCP请求吗？UDP在这里有什么关系？

摘自Web数据挖掘一书

爬虫需要将URL中的主机名解析为IP地址。为此目的与域名系统( DNS )服务器的连接是天真爬虫的主要瓶颈之一，它为每个URL打开到DNS服务器的新TCP连接。为了解决这个瓶颈，爬虫可以采取几个步骤。首先，它可以使用UDP而不是TCP作为DNS请求的传输协议。虽然UDP不能保证数据包的传递，偶尔也可以删除请求，但这是很少见的。另一方面，UDP在TCP上没有显著的速度提升带来的连接开销。