CDN怎么加robots.txt，会不会重复收录？

CDN是一种用于加速网页访问的技术，它通过在全球范围内的多个服务器节点上存储网页内容，使得用户可以从最近的服务器节点上获取内容，从而减少延迟和提高速度。

关于在CDN上添加robots.txt文件的问题，一般来说，我们不会在CDN上直接添加robots.txt文件，而是会通过cdn服务提供商的API接口来设置robots.txt规则。这种方法的优点是可以更好地控制CDN上的爬虫访问，避免出现重复收录的问题。具体操作流程如下：

1. 登录CDN服务提供商的API接口管理界面，查找并申请相关的API权限。
2. 在CDN服务提供商的管理后台中配置robots.txt规则，并获取到相应的URL。
3. 将获取到的URL配置到CDN服务提供商的API接口中，使得爬虫在访问CDN时能够遵循相应的规则。

需要注意的是，虽然在CDN上添加robots.txt文件能够避免重复收录的问题，但是这种方法的缺点是需要配置CDN的API接口，有一定的技术门槛。如果遇到技术问题或者需要对robots.txt规则进行调整，则需要联系CDN服务提供商的技术支持。