robots禁止抓取js写法

robots.txt 文件是一种用于告知网络爬虫哪些页面可以抓取，哪些页面不应被抓取的协议。然而，robots.txt 文件本身并不能直接禁止 JavaScript 的执行或抓取。它只能告诉爬虫不要请求某个 URL。如果爬虫仍然请求了该 URL 并且页面上存在 JavaScript，那么这段 JavaScript 仍然会被执行。

如果你希望防止 JavaScript 被抓取，可以考虑以下几种方法：

1. 使用 Content-Security-Policy (CSP)

CSP 是一种安全策略，可以限制浏览器加载和执行外部资源，如 JavaScript 文件。

<meta http-equiv="Content-Security-Policy" content="script-src 'self'">

或者通过 HTTP 头设置：

Content-Security-Policy: script-src 'self'

2. 使用 X-Robots-Tag

虽然这不是一个标准的 HTTP 头，但一些搜索引擎爬虫支持这个头，可以用来指示爬虫不要索引某个页面。

X-Robots-Tag: noindex, nofollow

3. 动态生成 JavaScript

你可以动态生成 JavaScript 内容，使得每次请求时 JavaScript 都有所不同，这样爬虫就很难抓取和理解这些脚本。

(function() {
    var random = Math.random().toString(36).substring(7);
    var script = document.createElement('script');
    script.src = '/path/to/script-' + random + '.js';
    document.head.appendChild(script);
})();

4. 使用服务端渲染 (SSR)

对于单页应用 (SPA)，可以使用服务端渲染来生成初始 HTML，这样爬虫抓取到的就是已经渲染好的页面，而不是原始的 JavaScript 文件。

5. 使用 robots.txt 结合其他方法

虽然 robots.txt 不能直接阻止 JavaScript 的执行，但它可以用来指示爬虫不要请求包含敏感 JavaScript 的页面。

User-agent: *
Disallow: /sensitive-page/

应用场景

• 保护敏感数据：防止爬虫抓取包含敏感信息的 JavaScript 文件。
• 防止滥用：避免恶意爬虫通过执行 JavaScript 来模拟用户行为。
• 提高性能：减少不必要的 JavaScript 文件被请求和执行，从而提高网站性能。

注意事项

• 这些方法并不能完全阻止所有爬虫抓取 JavaScript，特别是那些故意绕过这些限制的爬虫。
• 应该结合使用多种方法来提高安全性。
• 在实施这些策略时，需要确保不会影响到正常用户的体验。

通过上述方法，可以在一定程度上保护你的网站免受恶意爬虫的侵害，同时确保网站的正常运行和用户体验。