4回答
开启CDN加速以后…百度蜘蛛抓取403，该如何解决？
内容分发网络 CDN
如题，源站跟百度都说不是他们的原因，我设置的也没有问题，还专门咨询过腾讯的客服，他们教我设置的，现在就是抓取403 ，用户可以正常访问，用其他的模拟蜘蛛抓取都没有问题…所以我该怎么办呢？
浏览 1919提问于2018-03-01
1回答
网站使用cdn加速，各大搜索引擎收录网站也会消耗cdn资源，怎样避免？
搜索引擎、cdn 边缘计算、cdn
网站使用cdn加速，各大搜索引擎收录网站也会消耗cdn资源，怎样避免？
浏览 567提问于2020-05-12
1回答
Selenium Webdirver
python、selenium
当我使用Selenium和scrapy来抓取由dymanic .But开发的信息时，我使用webdriver.PhantomJS in在cmd窗口中找到了这样的调试信息。selenium.webdriver.remote.remote_connection]调试: POST
他们会有很多人，他们减慢了我的spider.How，我可以把它关掉吗?我只想让蜘蛛加速。
浏览 3提问于2016-02-16得票数 1
2回答
用scrapy进行CPU密集型解析
python、web-scraping、screen-scraping、scrapy
CONCURRENT_ITEMS节将其定义为：
假设我的解析涉及很多lxml查询和xpath‘’ing。应该在蜘蛛的解析方法本身中执行这些操作，还是应该发送包含整个响应的项，并让自定义管道类通过解析响应体来填充项的字段？
浏览 4提问于2014-02-13得票数 2
回答已采纳
1回答
我在抓取的项目中找不到字符串
python、scrapy
我有一个非常简单的爬虫，但是当我试图搜索我正在抓取的项目的内容时，它没有被找到 被抓取的url：https://www.filmlinc.org/nyff2019/films/the-irishman/ 蜘蛛 import scrapy
class MetrographSpider(scrapy.Spiderif "Standb
浏览 12提问于2019-09-14得票数 0
回答已采纳
4回答
COS存储对象使用CDN加速是否还会产生外网下行流量？
费用中心、内容分发网络 CDN、对象存储、cdn
COS存储对象使用CDN加速是否还会产生COS外网下行流量？我一直对这个有疑问，如果我买了CDN流量包，并且使用CDN对存储对象资源进行加速，我直接访问的CDN加速地址，这时候是否还会产生COS外网下行流量。
image.png
浏览 1648提问于2021-09-11
海外站，香港使用了境外CDN，非全球（域名未备案），经常内地无法访问cdn，无法为内地用户提供服务，这个是什么问题？不是直接回源吗？
浏览 973提问于2021-11-16
11回答
没有开通境外加速的情况下，境外访问境内加速域名，可以正常访问吗？
对象存储、cdn
CDN开通了中国境内加速域名www.xxx.com1. 是否可以正常访问？
2.实际处理流程是怎样的你？
浏览 4405提问于2020-04-15
1回答
如何用刮擦爬行多个域
scrapy、scrapyd、scrapy-spider
我有一个项目，在其中我必须爬很多不同的网站。所有这些网站爬行都可以使用相同的蜘蛛，因为我不需要从它的正文页面中提取项目。我认为的方法是将要在蜘蛛文件中爬行的域参数化，并调用scrapy爬行命令，传递域并启动urls作为参数，这样我就可以避免为每个站点生成一个蜘蛛(站点列表将随着时间的推移而增加)。这样做的目的是将其部署到运行scrapyd的服务器上，因此我有几个问题要问：
这是我能采取的
浏览 2提问于2014-07-01得票数 4
回答已采纳
1回答
在静态站点上使用URL中的参数
javascript、html
基本上，我想通过CDN主持一个网站。我的网站目前包含一些带有参数的URL，例如。
有任何方法来命名文件(包括参数)，以便它响应上面的URL吗？编辑:蜘蛛需要能够正确地抓取内容，这样JS就不会在这里发挥作用。
浏览 4提问于2016-10-17得票数 2
1回答
如何设置腾讯云CDN才能达到最好效果？
内容分发网络 CDN
我的网站一直使用腾讯云和CDN加速，由于是Discuz!动态程序，故而不知道如何设置才能：即不影响功能，速度还能最快。求大神告知！
浏览 755提问于2015-09-26
1回答
腾讯云【CDN加速的边缘节点】使用的是SSD硬盘还是SATA硬盘？性能如何？
内容分发网络 CDN、全站加速网络、电商、存储、cdn
有国内外电商客户需求对其全球电商网站容器集群域名进行CDN加速（千万级静态图片html、php静态页面等），需求边缘加速节点全部至少SSD固态硬盘，请问腾讯云CDN边缘加速节点使用的是什么存储？
浏览 703提问于2021-02-17
1回答
刮除-数据库选择
python、database、elasticsearch、scrapy、nosql
我目前正在建立一个刮刮项目，可以抓取任何网站从第一深度到最后。我不提取很多数据，但是我将所有页面的HTML (response.body)存储在数据库中。我目前正在使用Elasticsearch和bulk API来存储我的原始HTML。
我看了一下Cassandra，但是我没有找到相当于Elasticsearch散装的东西，它影响了我的蜘蛛的性能。我对性能感兴趣，并想知道Elasticsearch是否是一个好的选择，以及是否有一个更合
浏览 2提问于2017-04-28得票数 4
回答已采纳
1回答
cdn加速？
缓存、cdn
域名：abc.cnall：刷新时间0s疑问：若是请求cdn，之后转发给源站，怎么绕过cdn直接访问源站？若是请求cdn，之后转发给源站，会造
浏览 672提问于2019-08-21
2回答
美汤和Scrapy一起使用能提高性能吗？
python、beautifulsoup、scrapy
我正在抓取抓取所有的东西。我已经看到很多人都在使用漂亮的Soup进行解析。
我只是想知道在速度，效率或更多的slectrors等方面有什么优势，帮助我创建蜘蛛和爬虫或scrapy对我来说应该足够了。
浏览 0提问于2012-11-23得票数 0
回答已采纳
2回答
请教几个有关腾讯CDN的问题？
内容分发网络 CDN、对象存储
第一，这个腾讯云cdn和百度的云加速那种是一样的吗？和腾讯云的COS有什么区别，腾讯云的COS貌似和七牛云储存的加速是一样的，需要把文件同步到云储存里面，然后再独立设置一个img或者cdn的二级域名绑定，然后再将站内的静态资源链接替换掉。这个腾讯云cdn是不是和百度的云加速那样，只需要把www域名CNAME解析好就行，不需要单独
浏览 1341提问于2017-06-28
1回答
如何使用CDN加速简单的视频站点与PHP动态加载视频文件，如Moodle？
php、cdn、streaming、video、moodle
我用Moodle创建了一个站点，对存储在服务器上的视频文件的连接速度不太满意。而且我知道CDN可以加快视频文件的加载速度。但我是个新手，对CDN并不熟悉，我只是希望任何访问这些视频的人都能登录到我的源站点，但我听说CDN只能加速静态文件。视频文件的url将是https://example.com/my.php/110/mod_page/co
浏览 0提问于2017-09-04得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号