我希望以这种方式处理nginx中的请求,所以当爬虫获得请求的页面时,我需要通过请求的URL发送单个页面应用程序的静态版本,否则就会动态生成index.html。静态和动态页面位于不同的文件夹(必需)中,因此我在这种情况下使用$src变量。
我的配置:
server {
listen 443 ssl http2;
server_name www.example.com;
set $src "/www";
set $crawler 0;
if ($http_user_agent ~* "examplebot|anotherbot|crawler
共享调试器没有从我的站点获取适当的数据,我发现问题是gzip。
我可以禁用gzip的nginx仅用于Facebook爬虫吗?
Inferred Property The 'og:image' property should be explicitly provided, even if a value can be inferred from other tags. Object Missing a Required Value Object at URL 'https://kida.al/13' of type 'website' is inv