我计划使用Javascript。它将是多个网页，所以我不能用一个预定义的脚本网络刮。我该怎么处理这个？
浏览 5提问于2022-05-01得票数 -1
2回答
在React中有一种方法可以在不使用服务器的情况下进行web抓取。我正在尝试使用casperjs，但当我设置它时，它似乎给我的react带来了问题，它找不到模块。
浏览 3提问于2019-05-30得票数 1
我如何抓取一个域名来找到所有的网页和内容？我想用Python做这件事，如果可能的话，最好用Beautiful Soup。
浏览 0提问于2013-06-20得票数 4
回答已采纳
2回答
我是python web抓取的新手。 我想做一个程序，从GoDaddy域名注册商抓取域名和它们的值。但是，当尝试获取域名时，返回值为[]。
浏览 34提问于2020-09-12得票数 0
1回答
我试图看看一个乙醚域名是否已注册。我也尝试过使用proxies，但是我没有足够的资源来达到我需要的速度。
浏览 5提问于2021-09-07得票数 1
回答已采纳
1回答
通过我在这里编写代码的方式，我从不同的站点获得了结果，但由于某种原因，这个站点抛出了错误。因为我是scrapy的新程序员，我没有能力自己解决这个问题。Xpath是正确的。我将我在终端中看到的内容与代码一起附加：import scrapy Title = scrapy.Field()olxsp.pyfrom scrapy.linkextractors i
浏览 1提问于2017-04-15得票数 1
4回答
我被告知要对我们的正面网站做一个cookie审计，现在我们有很多的域名，所以我真的不打算手动挖掘每一个提取cookie。我决定使用硒。直到我想要抓取第三方cookie时，才会发生这种情况。目前(python)我能做的所有的cookie是从我的域名设置，但这并没有给我任何谷歌，推特，Vimeo或其他第三方cookie
我试过修改firefox驱动程序中的
浏览 0提问于2014-03-05得票数 4
1回答
我想抓取所有的wordpress博客。有没有快速列出wordpress.com下所有二级域名的方法？例如感谢你对这个问题的回答！
浏览 4提问于2012-10-20得票数 1
1回答
仅抓取域名
、、
如何使用Scrapy实现只抓取域名？ 我对任何domain.tld的深度搜索不感兴趣。我的想法是从每个域的索引页面只使用1跳的深度-所以直接从主页链接将足够作为链接缓冲区。
浏览 11提问于2019-03-14得票数 0
2回答
可能重复: 从域棚户区购买域
一个域名抓取者注册了一个我想要的域名。他们在网站上做的只是展示广告。我如何在不支付他们勒索费的情况下获得域名？
浏览 0提问于2011-02-01得票数 4
回答已采纳
我做了一个工具，从其他网站(任何类型)抓取所有的html，css，javascript和图片。然后我在我自己的域名上执行这个(当然是在修改链接之后)。javascript也会执行，因此页面呈现与抓取的网站上的页面呈现完全相同。但都在我的域名下。有没有什么方法可以保护这个javascript的执行(使用不受控制的代码)，这样被抓取的网站就不能获得我网站用户的cookie了？(或其他潜在的安全漏洞？)
谢谢。
浏览 1提问于2013-05-24得票数 1
3回答
谷歌已经开始爬行我的网站，但从一个临时域名(beta.mydomain而不只是我的域名)，我也只想让他爬行我的一些页面。因此，我想停止他们的抓取，只让他们抓取我在网站地图中指定的页面。我该怎么做呢？(我知道如何添加站点地图，但我如何停止他们当前的抓取，并请求他们只抓取站点地图)
更新:如果我删除了子域beta.mydomain，他们会“很好”还是会继续浏览所有被删除的页面并“不喜欢”他们？
浏览 0提问于2011-08-02得票数 0
回答已采纳
1回答
抓取过期域名
、、、
我使用Scrapy抓取不同的网站，但实际上我的脚本跟踪每个网站，并添加到数据库的域名和后，我用PHP脚本检查过期的域名。
我希望有人能够帮助我改进我的脚本，因为实际的脚本没有为我的需要进行优化！在将域名添加到数据库之前，如何直接检查域名是否过期？
浏览 0提问于2016-03-07得票数 3
然而，我有点担心sklearn/python对于一个可能涉及数百万网站分类的问题来说可能太慢了。我已经在DMOZ的数千个网站上训练了分类器。研究框架如下：我的问题是，对于如此大规模的应用程序，基于Python的分类器是否能够胜任任务，或者我是否应该尝试在更快的环境中重写
浏览 0提问于2013-04-13得票数 5
在微信公众号后台“公众号设置”-“功能设置”里添加“业务域名”、“JS接口安全域名”和“网页授权域名”:，再三确认按照以下要求设置，并且电脑可以访问到这个txt文件：
我这个域名是在腾讯云
浏览 5048提问于2019-10-16
1回答
这是域名禁止抓取他们网站的预防措施，还是我的设置？ 据我所知，状态429的请求太多了。我已经尝试将并发请求设置为1，但仍然不起作用。 希望有人能给我一些反馈。 感谢所有人
浏览 32提问于2020-04-23得票数 0
我们有客户谁建立他们的网站在一个UserDir网址之前，他们的真正的域名运行。UserDir网址始终采用以下格式：
有时，Google会抓取这些UserDir URL，即使该站点在上运行，该临时站点也会在结果中显示出来。(当然，我需要Google来抓取真正的域名，因为SEO对我们的客户很重要)
浏览 1提问于2012-04-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
