我使用下面的javascript函数将嵌入的Facebook元数据移动到head,这对访问者很好,但不是FB爬行页面时,我如何在Facebook爬行页面时执行此操作?head.appendChild( metaTAGs[ i ].parentNode.removeChild( metaTAGs[ i ] ) );}
当facebook抓取页面时,我需要获取头部的元数
我们的网站使用Facebook评论框插件。我们在我们的防火墙后面的临时站点上包含了注释框,这意味着Facebook无法访问它,并生成"URL is unreachable“错误。这一点我可以理解。但是,一旦页面发布,并且可以通过Facebook访问,仍然会显示该错误。这可以通过单击随错误提供的调试链接轻松解决,但我的内容编辑器不希望每次都这样做,而且他们有时会忘记。我想我可以省略暂存站点中的Facebook注释框,但我不希望这样做。还有其他想法吗?
我一直试图从Doordash上抓取动态内容(餐厅标题,评级,餐厅类型),我试图抓取的不只是一个网站,而是多个网站,可能在Doordash上的单个域名上大约有100 - 1000个页面。我得到了一个‘单刮’的工作,然而,当我使用下面的代码时,它给了我一个很长的错误for i in df:
url = df[i