3回答
对于站点刮取库来说，好的Perl或Python起点是什么？
python、perl、screen-scraping
可能重复：
这不是我的工作领域，所以请原谅我普遍缺乏知识。我正在寻找用于站点抓取的Python或Perl库(从不同页面上的站点/表获取一些产品信息/转换成一种更友好的格式-- Excel，这两种语言都有令人满意的选择)，并提供了良好的文档。有人能就这个问题提出建议或提出一个起点吗？谷歌提供了几个有趣
浏览 3提问于2012-08-01得票数 2
1回答
使用php curl抓取aspx页面
php、asp.net、curl、screen-scraping
我正在尝试使用php curl代码抓取aspx页面，其中包含页面方面的数据。最初，页面使用get方法加载，但当我们选择page no.从下拉列表中，它使用post方法提交页面。我已经创建了一个虚拟代码来获取第5页的记录，但它总是返回第一页的结果。如何获取特定页码的记录？
问候
浏览 1提问于2012-04-23得票数 1
1回答
如何获取多个网站的缩略图截图？
python、perl、mechanize
我有一个2500个网站的名单，需要抓取他们的缩略图截图。我该怎么做？
我可以尝试使用Perl或Python来解析站点，机械化将是一件好事。但是我对Perl没有太多的经验。
浏览 0提问于2011-12-05得票数 1
3回答
从许多不同网站上抓取数据的最好方法
programming-languages、html-parsing、screen-scraping
我希望从许多不同的地方政府网站上获取公共数据。此数据不是以任何标准格式(XML、RSS等)提供的并且必须从HTML中抓取。我需要抓取这些数据，并将其存储在数据库中以备将来参考。理想情况下，抓取例程将在循环的基础上运行，并且只将新记录存储在数据库中。对于我来说，应该有一种方法可以在这些网站上轻松地检测到旧记录中的新记录。
我最大的问题是:实现这一目标的最佳方法是什么？我听说过一些YQ
浏览 0提问于2012-09-04得票数 0
3回答
Perl vs PHP to web抓取
php、python、perl、performance、web-scraping
假设我们有一个需要web抓取的项目。(解析字符串(< 40)和抓取网页(获取元数据等等)我知道perl有非常好的适合这项工作的cpan模块，所以我可以采用这种方式，不用太麻烦自己。但我对速度和内存相关的东西一无所知。提前谢谢。
浏览 0提问于2011-04-04得票数 4
回答已采纳
我需要学习什么编程语言来构建能够帮助我监控我家里的电力(或水)使用情况的软件？不仅如此，我还希望能够远程连接到我的警报器，看看它是否正常工作，能够检查我的烟雾探测器，或者接入我的监控摄像头的实况。我知道linux是必须的，但是有什么编程语言可以与我从传感器获得的数据进行交互呢？
浏览 3提问于2014-11-06得票数 0
回答已采纳
9回答
Some开始编程，人们告诉我从perl或python开始。那么，我可以不学习python或perl就开始学习它吗?如果是这样的话，steve kochan的“?..And in c”一书是不是一个很好的起点呢？.
浏览 7提问于2011-02-22得票数 0
7回答
是否有用于Perl到Python转换的编程工具？
python、perl、parsing、compilation
在我的新工作中，使用Python的人比使用Perl的人多，而且我有一个非常有用的API，这是我自己编写的，我想用Python提供给我的同事。我认为将Perl代码编译成Python代码的编译器对于这样的任务是非常有用的。在尝试编写能够解析Perl (或者至少是我在定义API时使用的Perl的子集
浏览 0提问于2009-06-30得票数 24
回答已采纳
1回答
是否更容易抓取AMP版本的网页？
web-scraping、beautifulsoup、web-crawler、amp-html、web-mining
我正在开发一个聚合报纸文章的网络刮板。我知道AMP协议要求Javascript的精简版本，我也知道Javascript (在一定程度上)使网站管理员能够检测/防止抓取。因此，从逻辑上讲，我认为抓取AMP网站会更容易一些。然而，另一方面，如果这是真的，我假设StackOverflow会在它上面，但我还没有找到一个单独的线程来重申我的推断。我说的对吗?还是我忽略了什么？
浏览 11提问于2019-04-08得票数 0
4回答
屏幕抓取窗体结果
python、forms、screen-scraping
我最近被一个客户要求为他们的保险业务建立一个网站。作为这项工作的一部分，他们想要对他们的一个供应商的报价站点进行一些屏幕抓取。他们询问他们的API是否可以做到这一点，并被告知没有，但如果他们可以从他们的引擎中获得数据，他们可以随心所欲地使用它。
我的问题是:是否可以对表单提交到另一个站点的响应执行屏幕抓取？如果是这样，我应该注意的</em
浏览 1提问于2009-08-03得票数 3
回答已采纳
1回答
div其他站点-页面将其添加到我站点中的div标记或iframe标记内
jquery、parsing、html
我想从一个外部网站(在一个div内)获得html代码/数据，并将它们添加到我的网站的div标签内…我想我必须得到html页面，解析页面，获得div内容，并添加到我的site...is，它允许从其他网站，而不是相同的服务器？
浏览 0提问于2012-02-20得票数 0
1回答
如何验证网页上存在超链接？
c#、.net、regex、parsing、verification
我需要验证一个特定的超链接存在于给定的网页上。我知道如何下载源代码HTML。我需要帮助的是找出一个“目标”url是否作为一个超链接存在于“源”网页中。下面是一个小型控制台程序来演示这个问题：{注意最后一行的注释。我可以看到目标URL是否存在于源URL的HTML中，但
浏览 5提问于2010-09-09得票数 1
回答已采纳
1回答
Python Web脚本
python、regex、web-crawler
我正在谈论的脚本，我们爬行一个网站，并提取我们需要的数据。我的目标是:基本上我必须在12月份参加工作面试。有一个网站()，其中包含了之前面试中的大量问题(比如 & )。跟踪我做了什么和没有做什么是相当麻烦的。因此，我想从每个页面中提取问题，并将其放入带有标题的pdf中。我如何使用curl，regex和Scrapy来做这件事呢？我是C/C++/Java的中
浏览 1提问于2013-09-12得票数 0
2回答
python擦除/获取数据aspx查询
python、asp.net、web-scraping
我正在尝试使用python 从这个站点抓取数据谢谢。
浏览 20提问于2018-09-01得票数 0
回答已采纳
2回答
哪种语言最适合这个编辑和操作聚合器项目？
html、aggregators
我正在寻找一个聚合器为一堆英语报纸的社论和评论页面，我想要关注。我们的目标是生成一个HTML，它只是我想在国际上关注的十几种报纸的社论文章的集合，这样我就可以在早上打印出来。由于这是一个非常狭窄的要求，我找不到任何可用的东西，所以我正在考虑自己写一个。
现在，在我以前的生活中，我曾经当了大约8年的程序员(现在在我的MBA毕业后，我已经转向了华尔街的“黑暗面”)。我现在对编程
浏览 1提问于2009-08-11得票数 2
回答已采纳
2回答
使用python从网页中提取Disqus评论，声誉和点赞？
python、comments、disqus
我正在试图找出一种方法来提取评论，作者的声誉和喜欢使用python。有人能帮上忙吗？
浏览 1提问于2013-11-21得票数 2
4回答
使用PHP或Python的PHP抓取技术
php、python、screen-scraping
我需要刮大约100个网站，在他们提供的内容非常相似。第二项质询。我的主要语言是PHP，但在Stackoverflow上搜索此处后，我发现Python中的"Beautiful Soup“<e
浏览 2提问于2011-01-03得票数 3
5回答
希望抓取一个网站
web、screen-scraping
我要找一个像yelp.com这样的网站，以获得他们那里的所有酒吧的清单。有没有什么工具或脚本可以帮助我做到这一点。
浏览 4提问于2009-08-28得票数 3
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号