腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
PHP与
、
、
我计划制作的网络
爬虫
,可以抓取200+领域,哪一种语言将适合它。我非常熟悉PHP,但我是
Python
的业余爱好者。
浏览 2
提问于2014-11-21
得票数 0
回答已采纳
1
回答
如何有效地运行
python
web
爬虫
、
、
、
我有一个
python
爬虫
,它获取信息并将其放入SQL中。现在我也有了php页面,它从SQL读取这个信息,并表示它。问题是:为了让
爬虫
程序
工作
,我的电脑必须全天候
工作
。是否有一种不同的方式运行网络
爬虫
?还是我必须在我的电脑上运行?
浏览 1
提问于2015-12-08
得票数 0
回答已采纳
1
回答
如何解决“没有模块名为proxy”的错误?
、
我正在学习
爬虫
,在一些基本的
爬虫
之后,我尝试从github下载谷歌学者
爬虫
大师,看看它是如何运行的,在几个我可以修复的错误之后,我遇到了一个ModuleNotFoundError: No module这段代码有一些问题,其中包含
python
3.x版本中不再支持/建议的解决方案,包括后来被重命名/移动的模块,但我无法确定这是否也是这种情况,希望能得到帮助。
浏览 3
提问于2018-03-07
得票数 0
1
回答
将我的
Python
电子邮件爬行器转换为Web应用程序的框架
在
Python
方面经历了几年之后,我才知道它在web开发中的应用。我在
Python
中制作了一个电子邮件
爬虫
程序(基本上是一个使用其他几个功能的函数),它帮助我在generate实习的公司。我的老板问我是否可以让我的
python
电子邮件
爬虫
进入一个网络应用程序,这样其他员工就可以通过我来抓取电子邮件,这样我就可以在更重要的事情上
工作
。是否有一些web应用程序框架可以用来将我的
python
电子邮件
爬虫
程序转换成一个简单的公司专用web应用程序?制作网络应用
浏览 5
提问于2015-07-08
得票数 0
回答已采纳
1
回答
如何轻松地在远程github分支和本地分支/文件夹之间切换?
、
、
、
我用
Python
2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持
Python
3,这种转换必须在1 go内完成。我只能在
Python
3
爬虫
做好部署准备之后才能开始使用。现在,由于“所有操作都必须保持活动状态”,我需要一个单独的
Python
3
爬虫
的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支,所以整个存储库现在有两个分支: Master(Remote-A)和
Python
3
爬虫
(Remote-B),后者是主分支的一个
浏览 3
提问于2019-09-10
得票数 0
回答已采纳
1
回答
web
爬虫
如何构建URL目录以抓取所需内容
、
、
、
我在试着了解网络爬行是如何
工作
的。有三个问题: 有没有用
python
编写的开源web
爬虫
?哪里是学习更多关于网络
爬虫
的最好的地方?
浏览 2
提问于2018-10-11
得票数 1
1
回答
从单个MongoDB队列获取信息的多个
工作
人员
、
、
、
、
我正在用
Python
构建一个web
爬虫
,使用MongoDB来存储一个队列,其中包含所有要爬行的URL。我将有几个独立的工人,将抓取URL。每当
工作
人员完成URL抓取时,它将在MongoDB集合"queue“中发出请求,以获得要爬行的新URL。我的问题是,既然会有多个
爬虫
,我如何确保两个
爬虫
器不会同时查询数据库并获得相同的URL来抓取? 非常感谢你的帮助
浏览 0
提问于2014-03-29
得票数 0
回答已采纳
1
回答
python
中的
爬虫
有没有什么
python
模块可以验证html表单,并提供对页面的访问,然后允许下载这些页面中的文件?
浏览 0
提问于2011-05-11
得票数 0
回答已采纳
1
回答
弹性豆杆不运行的克隆约伯
、
、
、
、
我在一个弹力豆茎应用程序上有一个抓取器,我可以像这样运行SSH: 我想帮我安排一个任务来处理这个问题。我的runcrawler.sh文件
浏览 0
提问于2015-04-13
得票数 0
1
回答
通过
python
scrapy包获取响应
、
、
我对
Python
非常陌生。我想在
python
中通过scrapy发送一个http请求,并在一个变量中获得响应。我不知道如何捕捉回复文本。
浏览 14
提问于2020-09-04
得票数 1
1
回答
使用多个EC2实例爬行
、
我用
python
编写了一个爬行过程,它运行在亚马逊上的一个ec2实例上。我已经编写了这个
爬虫
,这样它就可以用它的结果向一个单独的"hub“实例报告。集线器处理
爬虫
的结果,
爬虫
可以自由地继续爬行。我在这个爬行实例中想到的是,克隆
爬虫
的几个实例很容易,每个实例都要向中心报告以便处理。 有冗余,所以如果一个
爬虫
被挂断,其余的
爬虫
可以继续<
浏览 2
提问于2015-01-08
得票数 0
回答已采纳
2
回答
Python
-单元测试
、
、
因此,我有一个关于单元测试的问题,不一定是关于
Python
的,但是由于我目前正在使用
Python
,所以我选择以它作为我的问题的基础。举个例子,我写了一个
爬虫
。我不知道它还会有什么,否则我就不需要
爬虫
了。那么,在不知道该方法将返回的情况下,如何测试
爬虫
是否正常
工作
呢? 提前感谢!
浏览 1
提问于2014-01-18
得票数 3
回答已采纳
1
回答
不运行ModuleNotFoundError:没有名为“scraper.settings”的模块
、
kalpesh/venv/bin/scrapy", line 8, in <module> File "/home/kalpesh/venv/lib/
python
3.6cmdline.py", line 113, in execute File "/home/kalpesh/venv
浏览 2
提问于2020-04-18
得票数 0
回答已采纳
1
回答
将具有动态生成名称的DynamoDB表导出到S3
、
、
我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 ",其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么?我在看AWS Glue,但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好?DynamoDB表的大小不大,存储了几百个数字。
浏览 4
提问于2019-12-21
得票数 0
回答已采纳
2
回答
Python
的地址解析器,如何拆分地址
、
我对
Python
非常陌生,但似乎相处得很融洽。我正在用
Python
写一个网络
爬虫
。我想自己弄清楚代码,但如果你愿意提供一个样本,我不会争辩。:)
浏览 2
提问于2015-02-18
得票数 0
2
回答
使用scrapy
python
的.net框架
、
、
、
可以在
Python
框架中使用.NET框架从不同的站点抓取数据吗?我正在做我的最后一年的项目,在这个项目中,我想使用C#作为前端语言,并使用
Python
来抓取数据。
浏览 0
提问于2014-05-07
得票数 4
1
回答
如果我为我的
python
脚本做了一个简单的gui,它会影响它的效率吗?
、
、
嗨,我想做一个网页
爬虫
,检查URL的数据,如果我做一个简单的Gui,使脚本更容易查找变量的数据,添加代码的gui会使我的网络
爬虫
效率降低吗? 我需要
爬虫
尽可能高效,能够尽可能快地处理数据。为这个
Python
脚本制作一个gui,会不会妨碍web
爬虫
的性能?
浏览 3
提问于2015-01-27
得票数 0
回答已采纳
3
回答
将数据从PHP脚本传递到
Python
Web Crawler
、
、
、
、
我有一个
python
爬虫
,每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面,并显示
爬虫
获得的数据。我将使用php/html作为接口。无论如何,用户界面需要某种类型的按钮来触发
爬虫
程序立即抓取特定的网站(而不是等待下一次抓取迭代)。 现在,有没有一种方法可以将数据从php脚本发送到正在运行的
python
脚本?然后我在考虑使用一个共享文件,php在其中写入数据,
python
从中读取数据。但是,我需要一些方法来让
python
脚本知道,新数
浏览 1
提问于2011-03-31
得票数 1
1
回答
我怎么能强制停止我的
爬虫
得到一个特定的网址抓取最后一次?
、
、
、
、
我正在制作一个
爬虫
来找出最近添加的youtube视频,当我的
爬虫
到达旧视频(在前一个转弯中爬行)时,我想停止
爬虫
。我使用的不是scrapy和漂亮的汤,我使用的是
python
库。请给我推荐任何选项
浏览 9
提问于2017-06-27
得票数 0
1
回答
如何在
python
中创建基本语义搜索
、
、
、
、
我想用
Python
写一个基本的语义网络
爬虫
,我知道语义应用程序使用RDF文件,但还有什么?我安装了一些
Python
RDF模块,并且开始学习它们是如何
工作
的。
浏览 0
提问于2011-08-08
得票数 5
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python爬虫工作对代理IP有哪些需求?
如何入门 Python 爬虫?爬虫的工作原理是什么?一文看懂!
Python爬虫如何运行?前期准备工作必不可少!
Python爬虫入门3 爬虫必备Python知识
Python爬虫
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券