如何避免获得HTTP错误429:使用此代码或使用此代码处理的请求太多？我已经尝试添加sleep.time(秒)，但它不起作用
import googlesearch
import pandas as pd
with open('Unknown.xlsx', "rb") as f:
df = pd.read_excel(f) # can also index sheet by name or fetch all sheets
mylist = df['Short Code'].tolist()
try:
from go
浏览 6提问于2020-12-12得票数 1
6回答
Python和Spyder新手。如何在Spyder中重新定位窗格。我在左上角设置了编辑器，在右上角设置了对象检查器，在左下角设置了ipython控制台。不知何故，我把它搞乱了，不知道如何重新定位它们。已经爬遍了网络，但没有找到joy。
谢谢
jpl
浏览 4提问于2015-03-06得票数 23
1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 550提问于2024-01-06
SharePoint 2010 search中的爬网程序影响规则和爬网规则有何不同？
浏览 1提问于2011-02-13得票数 4
回答已采纳
服务器账单核对不上 11月使用费用以及余额扣费金额为什么不等于预付费和后付费的和？
浏览 495提问于2017-12-07
1回答
我正在尝试使用Python中的Scrapy在一些航班上运行航班搜索，然后将其导出为csv。这只是为了好玩，因为我对Scrapy有了更多的了解。
这是我所拥有的
from scrapy.item import Item, Field
from scrapy.http import FormRequest
from scrapy.spider import Spider
class DeltaItem(Item):
title = Field()
link = Field()
desc = Field()
class DmozSpider(Spide
浏览 1提问于2015-04-17得票数 0
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。
用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
590859A8-9A1A-4E52-8E60-AD292B16B4A8.png
655C6D0E-4901-4369-AA98-452F9FEFB852.png
4E73A31E-C9C4-45C0-A34E-8EA9AE335A98.jpeg
91321020-9B32-4C77-910A-FA
浏览 335提问于2021-01-09
1回答
是否有可能挂钩到MOSS 2007爬网进程，并在内容被索引时以编程方式填充元数据属性？
我需要在爬网时这样做的原因是，内容来自SharePoint外部(来自文件共享)，因此我不能将元数据直接添加到文档本身。有各种各样不同的文档类型，所以定制的IFilter也不是一种选择。
浏览 1提问于2010-06-25得票数 1
回答已采纳
SharePoint2010 search中的索引数据库和属性数据库有什么不同？
浏览 5提问于2011-02-15得票数 0
回答已采纳
集成云通讯，老是提示Prepay:not support longpolling group错误，错误代码10036
浏览 552提问于2018-10-09
1回答
我的刮刀用了大约一个小时。过了一会儿，我开始看到这些错误：
2014-01-16 21:26:06+0100 [-] Unhandled Error
Traceback (most recent call last):
File "/home/scraper/.fakeroot/lib/python2.7/site-packages/Scrapy-0.20.2-py2.7.egg/scrapy/crawler.py", line 93, in start
self.start_reactor()
F
浏览 3提问于2014-01-16得票数 3
有没有可能改变Heroku插件的所有权？如果是这样，我们如何做到这一点呢？事实上，我想将一个附加组件从一个Heroku帐户移动到另一个帐户。
为了清楚起见，让我更详细地说明我的方案。
我用我的测试提供商acount创建了一个附加组件。有没有办法从我的测试帐户中删除该加载项，并创建与我的官方提供商帐户同名的加载项？事实上，在提供商的文档中没有任何关于删除附加组件或将其移动到不同帐户下的内容。
浏览 0提问于2012-09-03得票数 2
回答已采纳
在我们的网站上有一个网站地图
网站管理员中心报告说，网站地图中的一些urls被我们的robots.txt屏蔽了，请看，！尽管这些urls在Robots.txt中并不是不允许的。还有其他类似的网址，例如，gamezebo.com/gamelinks出现在我们的网站地图中，但它被报告为“robots.txt限制的网址”。
另外，我在站长中心有一个解析结果，上面写着：“第21行:爬行延迟: 10规则被Googlebot忽略”。什么意思？
我很感谢你的帮助
谢谢。
浏览 3提问于2009-09-28得票数 1
快速问一下，我错误地开始了对我的一个内容源的增量抓取。然后我暂停了它，这样它就不会影响用户了。 它将在下一次计划的增量爬网时恢复还是需要手动恢复？
浏览 12提问于2019-12-20得票数 0
1回答
我想爬一个公开可用的网站(和一个合法的爬行)的个人项目。通过对爬虫的简单试用，我发现我的程序在一秒钟内就有8次使用新的HTTPRequest来访问服务器。按照这个速度，根据我的估计，要获得完整的数据，我需要大约60天的爬行。
虽然该网站是合法的爬行，我知道它仍然是不道德的爬行速度，造成不便的正常流量在网站上。我想在这里理解的是我是否可以这样做4倍(运行4个实例的我的爬虫并行)，使总工作量下降到只有15天，而不是60天？
您如何找到网络服务器支持的最大命中率？爬行率的理论(和道德)上限是什么，以避免对服务器的常规通信产生不利影响？
浏览 0提问于2014-08-19得票数 0
0回答
使用Python语言编写爬虫程序，使用正则表达式将指定日期时段内的全部上市公司股票数据爬取下来，并按照股票代码保存到相应的Excel文件中。
有偿联系微信：15527440125
浏览 204提问于2020-05-23
2回答
我正在用wx Python构建一个桌面应用程序。我希望该应用程序可视化地图(Shapefile)像GIS软件，并提供与地图的互动。我正在看arcpy和arcgisscripting，但我不确定它是否能帮助我在面板上渲染shapefile。如果可能的话，请让我知道。
浏览 3提问于2012-03-09得票数 0
1回答
我使用apache-nutch-crawler1.6进行爬行。在爬行之后，当我尝试使用命令读取爬行结果的内容时
bin/nutch readseg -dump crawl/segments/* segmentAllContent
错误是
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/ubuntu/nutch/framework/apache-nutch-1.6/blogs/segments/20
浏览 0提问于2013-06-21得票数 1
我在seed.txt中用url-1成功地执行了一次爬行，我可以在MySQL数据库中看到爬行的数据。现在，当我尝试通过在seed.txt中用url-2替换url-1来执行另一次新的爬行时，新的爬行开始于抓取步骤，并且它试图抓取的url是seed.txt中旧的替换的url。我不确定它是从哪里拿到这个旧网址的。
我尝试检查隐藏的种子文件，但没有找到，并且在我运行爬网命令的NUTCH_HOME/ run /local中只有一个文件夹urls/seed.txt。请告诉我可能是什么问题？
浏览 1提问于2013-04-17得票数 1
1回答
我最近推出了一个Django支持的网站，我有404错误报告。我收到了一些奇怪的URL请求，每隔几天一次。
/更新Pwd.php/ /index.php/ /mobile/ /m/ /admininstrator/
我发现其中一些非常奇怪，因为我没有PHP站点或移动站点。
有谁知道这是什么原因吗?更重要的是，我应该担心/做点什么吗？
浏览 0提问于2016-05-03得票数 2
回答已采纳
我开始测试Scrapy以便抓取一个网站，但当我测试我的代码时，我得到一个错误，我似乎不知道如何解决。
以下是错误输出：
...
2012-12-18 02:07:19+0000 [dmoz] DEBUG: Crawled (200) <GET http://MYURL.COM> (referer: None)
2012-12-18 02:07:19+0000 [dmoz] ERROR: Spider error processing <GET http://MYURL.COM>
Traceback (most recent call last):
F
浏览 2提问于2012-12-18得票数 0
回答已采纳
我的问题是:我有sharepoint 2007 web应用程序和windows server 2008操作系统。我在SharePoint2007中做搜索，它工作得很好。最近我添加了一个新的网站页面，但它没有出现在搜索结果中。我也在爬虫日志中查找了它，但我没有找到页面的url。
新信息当我切换到windows身份验证时，一切都很好，页面是在搜索process.but中找到的，切换回表单身份验证不会使网页出现在搜索结果中。
我的问题是:如何让新页面出现在搜索结果中？
浏览 1提问于2013-01-31得票数 0
如题，我最近在做一个数据分析，想要用到美团的美食信息，于是就想用python爬取美团的数据，但是在构造爬虫的时候发现美团有一个_token参数，百思不得其解，还请大神指教
浏览 2250提问于2018-09-12
我的应用程序由两种产品风格组成: free和pro。我有一个为广告提供对象的ApplicationModule，但这个对象只需要免费版本，因为pro版本没有com.google.android.gms:play-services-ads:8.3.0的依赖性。我如何组织我的项目，以便只有在使用免费产品风格时，ApplicationModule才会提供广告对象？
浏览 0提问于2015-12-02得票数 2
我有一个关于python的apache beam程序。为了节省运行成本，我想使用服务而不是在EC2实例上执行这个python。
该脚本从50s一直持续到60min之上。
如果这是GCP，我想是google app engine。但是，在AWS上，我不确定应该使用AWS beanstalk还是AWS batch。通常，哪种服务最适合在AWS上运行长期运行的脚本？
谢谢你，余
浏览 3提问于2019-10-04得票数 0
回答已采纳
1回答
我正在用python在一些页面上做web抓取，我已经被其中的一些阻止了。当我试图通过TOR浏览器检查它时，我已经看到我无法访问页面，所以我认为这些页面已经能够跟踪我所有的IP或我没有很好地配置TOR (我认为不是因为我用Chrome和TOR检查了我的IP地址和TOR是不同的)，所以，有人知道为什么吗？
此外，我正在尝试在我的python代码中执行一个函数或方法来自动更改mi IP。我所看到的是，最好的方法是通过TOR浏览器(将其用作从页面获取数据的搜索引擎)，但我无法使其工作。你对创建这个函数有什么建议吗？
谢谢!
浏览 19提问于2020-05-21得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
