腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
标识GoogleBot:为什么要反向和转发
DNS
检查?
security
、
dns
、
googlebot
为了识别GoogleBot
爬虫
HTTP请求,谷歌建议在请求IP地址上进行反向
DNS
查找,以检查
域名
是谷歌的。 但是他们为什么要你做一个转发
DNS
检查呢?这样更安全吗?为什么?
浏览 6
提问于2015-09-20
得票数 1
回答已采纳
1
回答
网络优化时,web爬行-使用udp和使用连接池?
networking
、
architecture
、
web-crawler
、
system-design
每个
爬虫
服务是否都在打开自己与主机的连接?连接池在这里有什么用?关于UDP,难道不是爬行向网络主机发出HTTP通过TCP请求吗?UDP在这里有什么关系?
浏览 5
提问于2020-03-01
得票数 2
1
回答
如何获取现有所有
dns
记录的副本(即每个主要TLD的所有域->ip对的列表)?
web
、
networking
、
dns
、
web-crawler
、
tld
我正在尝试解析网页上每个
域名
的索引页。我能想到的唯一可以产生某种程度上可以接受的结果的替代方案是一个通用的网络
爬虫
来识别网络上的每个唯一的域。 相反,我希望能够迭代通过网络上所有
域名
的列表。可能回答这个问题的相关问题:是否有可能在不查询任何其他
DNS
服务器的情况下托管自己的
dns
服务器? 我认为循环遍历所有可能的ipv4组合也是一种选择,但与所有注册
域名
的集合相比,这样做的针对性较差。
浏览 13
提问于2019-02-08
得票数 0
回答已采纳
2
回答
重建和托管网站的新版本,而不访问该网站当前所在的位置
domains
、
web-hosting
我所要做的就是没有任何登录细节的
域名
。 我能做什么?
浏览 0
提问于2016-03-18
得票数 2
1
回答
我可以使用PowerDNS作为HTTP负载均衡器吗?
load-balancing
、
powerdns
我想服务于多个web应用程序,并通过测试网络中的
域名
提供它们。因此,我想使用PowerDNS,因为它似乎有一个很好的API。web应用程序将由一小群
爬虫
来访问。我设想在两个服务器上运行相同
域名
的同一个web应用程序,以实现负载平衡。PowerDNS可以指向负载较少的服务器,还是需要另一段软件来实现这一点?我需要找什么?比如"HTTP负载均衡器“?这样的软件如何与
DNS
一起工作呢?
浏览 0
提问于2016-02-23
得票数 0
回答已采纳
1
回答
阻止在服务器上对
域名
执行反向
域名
服务器查找的功能
dns
、
reverse
有没有可能阻止Joe Public访问我的web服务器上的整个
域名
目录,使用反向
域名
服务器查找?除了重现我的同名服务器。我使用的是品牌
域名
服务器,所以很容易将其反向,但是有没有一种方法可以阻止这些
域名
服务器上托管了多少个
域名
和确切的
域名
?
浏览 3
提问于2019-03-19
得票数 1
2
回答
谷歌
域名
中的
域名
和亚马逊S3中的代码
amazon-web-services
、
amazon-s3
、
dns
在你阅读其余部分之前,我绝对是一个部署网站的初学者,最终的目标是:site.s3-website.us-east-2.amazonaws.commydomain.com我关注了很多文章和帖子,但是我似乎没有得到预期的结果,或者它们似乎过时了。
浏览 0
提问于2019-04-18
得票数 1
2
回答
允许谷歌绕过验证码验证--明智还是不明智?
php
、
captcha
、
robot
我的网站有一个数据库查找;填写验证码可以给你5分钟的查找时间。还有一些自定义代码可以检测任何自动化的脚本。我这样做是因为我不想有人对我的网站进行数据挖掘。对我来说,最明显的解决方案是使用PHP变量$_SERVER['HTTP_USER_AGENT']来绕过验证码和谷歌机器人的自定义安全代码。我的问题是这是否合理。或
浏览 0
提问于2010-04-12
得票数 4
回答已采纳
1
回答
谷歌网站地图之谜
php
、
rss
我试图提交一个网站的网站地图到谷歌网站工具,但我得到了一个非常奇怪的错误与
域名
。首先,我将站点地图作为RSS文档提交,我认为它是有效的()。一般的HTTP :
域名
找不到“。但是,我能够解决
域名
(),而且这个名字在几个月前就已经注册了,所以应该不会出现
域名
问题。$ resolveip vlab.mooo.info我真的不能得出一个结论:是不是有什么
DNS
问题
浏览 4
提问于2012-04-07
得票数 1
回答已采纳
1
回答
百度蜘蛛不服从
DNS
TTL
dns
、
web-crawlers
、
baidu
域名
的A记录具有86400的TTL。我在4月16日格林尼治时间19:00更改了IP地址。我使用AWS Router53进行
DNS
。
浏览 0
提问于2014-04-19
得票数 1
回答已采纳
2
回答
在哪里修改
dns
?
DNS 解析 DNSPod
、
dns
浏览 2213
提问于2018-10-29
2
回答
去缓存
DNS
查找吗?
caching
、
go
、
dns
我正在构建一个测试
爬虫
,并且想知道Go (golang)是否缓存
DNS
查询。在中,我没有看到任何关于缓存的内容。这似乎是一个重要的事情添加到任何
爬虫
,以防止许多额外的
DNS
查询。确实(1.4+)缓存
DNS
查找? 如果没有,那么debian/ubuntu/linux、windows或达尔文/OSX在网络级别的缓存会受益吗?
浏览 8
提问于2016-10-26
得票数 13
回答已采纳
3
回答
如何在PHP中抓取IP地址并获取其上的网站列表?
php
、
web-crawler
假设我有一个特定web服务器的IP地址,假设它是67.222.134.101,如何使用PHP获取该web服务器上所有网站的列表?
浏览 2
提问于2011-05-22
得票数 1
1
回答
如何在node.js中发出https请求
javascript
、
node.js
、
https
我要做个
爬虫
。对于http请求,我曾经这样做过。', function () { }); http.request(options, callback).end(); ^at errnoException (<em
浏览 2
提问于2015-01-18
得票数 1
回答已采纳
1
回答
为GKE上的入口控制器IP地址配置FQDN
https
、
kubernetes
、
google-kubernetes-engine
、
fqdn
我正在尝试将TLS加密添加到Google Kubernetes Engine (GKE)上的Kubernetes服务/入口控制器,为此,我需要一个
域名
。我不想浏览Google域,我之前已经在Azure上通过为入口控制器外部IP地址配置了一个完全限定
域名
-使用这个link: 有没有办法在GKE上做到这一点?或者我需要创建一个
域名
?
浏览 11
提问于2019-09-11
得票数 1
2
回答
cPanel错误:域归其他用户所有
cpanel
当尝试在cPanel中创建加载域或驻留的域时,我收到以下错误:该域未被列为附加域或暂留域。
浏览 1
提问于2012-08-24
得票数 2
回答已采纳
1
回答
客户端操作系统上的
DNS
查询是否序列化?
asynchronous
、
dns
、
web-crawler
即使您在Linux或windows上发出多个并行异步
DNS
解析请求(以编程方式),操作系统是否会序列化这些请求,并且不会将它们全部并行发送出去?当我在一些地方读到gethostbyname或
DNS
APIs在最低层序列化时,甚至有人编写了这个async-
dns
python库来戏剧性地加速DnsResolve解析。想象一下一个网络
爬虫
场景,我需要每秒大量的
dns
查询,在一些早期的网络
爬虫
出版物中,提到
dns
成为瓶颈。
浏览 1
提问于2010-12-10
得票数 2
回答已采纳
1
回答
这个
dns
为什么报错啊?
dns
浏览 318
提问于2020-07-12
1
回答
当你让搜索引擎
爬虫
通过,但为用户增加了额外的步骤时,你会受到搜索引擎的惩罚吗?
search-engine
、
seo
希望搜索引擎索引内容,我正在为搜索引擎
爬虫
创建例外,以便它们可以轻松访问内容。我不得不提一下,这没有安全隐患。(与成本/收益相关的用户代理、IP地址或反向
DNS
查找)
浏览 0
提问于2010-08-26
得票数 3
回答已采纳
2
回答
在注册
域名
和
DNS
时是否存在性能问题?
dns
、
domain-registrar
我们用GoDaddy托管了我们的
域名
和
DNS
。最近我们的
DNS
出现了问题,现在已经解决了。现在,我们计划去为我们的
域名
的其他
DNS
提供者。
域名
与一个提供者保持在一起,而
DNS
与其他提供者保持在一起安全吗?是否有任何性能问题在托管我们的
域名
与一个提供商和
DNS
在另一个提供商?
浏览 0
提问于2014-09-11
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
DNS域名系统之一:DNS简单阐述,让你了解域名系统
浅析DNS域名解析过程
DNS 域名解析那些事儿
DNS域名解析与本机Host
如何部署DNS域名解析服务
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券