我正在使用scrapy抓取网站并从中提取数据，scrapy使用基于regex的规则来检查页面是否必须解析，或者是否必须遵循链接。为此，当启动爬行器时，我从数据库获取最后关注的链接。我的站点urls看起来像http://foobar.com/page1.html，所以，通常情况下，规则的正则表达式会像这样跟随每个链接，就像/page\d+\.html一样。但是，我如何才能编写一个正则表达式
浏览 2提问于2011-03-06得票数 1
回答已采纳
这听起来像是程序一直在做的常见任务，但我不确定它是如何整合到应用程序中的。(拉取webdata的过程叫什么？)
有什么方法或工具可以做到这一点？目前我还不熟悉如何处理iphone的网络数据。
浏览 0提问于2009-10-05得票数 1
回答已采纳
我需要解析传递给Prestashop中任何静态页面的任何变量，并将所有以"http“(纯文本)开头的变量替换为"a href”。我已经有了正则表达式，但我需要知道如何在不修改核心函数和不使用类或控制器的覆盖目录的情况下使用模块来做到这一点。在将结果发送到tpl文件之前，需要对变量进行解析；我已经找到了一个覆盖ObjectModel类的解决方案，但我需要在模块中执行此操作。问题是我不清楚如何做到这一点，因为Objec
浏览 0提问于2012-06-27得票数 1
回答已采纳
4回答
我想在不使用正则表达式的情况下从表中抓取数据。我喜欢使用simplexml解析RSS提要，我想知道它是否可以用来从另一个页面抓取表。例如：使用curl或简单的file_get_contents()抓取页面；然后使用simplexml抓取内容？
浏览 0提问于2011-07-09得票数 20
回答已采纳
例如，我希望能够在每天开始时从以下页面获取文本：
有没有一种本机方法来解析我想要的信息？
或者我需要第三方库？或者我需要查看屏幕抓取？
浏览 3提问于2010-09-29得票数 1
回答已采纳
2回答
我完全可以为几乎任何事情编写一个屏幕抓取器，但我遇到了一个主要问题。我使用get_file_contentsto收集产品页面的html。您需要登录才能查看产品页面。这是一个标准的magento登录，那么我如何在我的屏幕抓取器中解决这个问题呢？我不需要完整的脚本，只需要一个方法的建议。
浏览 0提问于2011-01-04得票数 2
回答已采纳
2回答
我正在使用BufferedReader读取一个文件，并尝试使用正则表达式解析出一个字符串。我想要解析的字符串如下所示，而且，在这个字符串的前面和结尾都应该有文本。而且，我只想解析这个字符串的值(Ex.我想从读取的字符串中抓取"123“)。<test>?谁能告诉我如何<e
浏览 0提问于2012-07-18得票数 0
回答已采纳
1回答
从网页中解析国际电话号码
、、、
我正在使用HtmlAgilityPack来解析网页。加载文档后，我想从HTML中提取可能的电话号码。目前，我正在使用一些正则表达式来实现此目的。有没有一个通用的正则表达式，最适合抓取网站时，它允许匹配大多数形式的国际电话号码？
浏览 0提问于2013-03-01得票数 1
回答已采纳
我有一个应用程序，它需要定期从Feed服务器抓取，让一个新闻网站，然后解析Feeds来打印特定的提要。我想要提取项目/标题、项目/描述和项目/类别字段。我将在特定的时间间隔后抓取Url，并解析xml并打印这个字段，如何使用Bash脚本完成此操作？
浏览 0提问于2014-07-07得票数 1
回答已采纳
我写了一些代码来显示UL中的所有附件图像，以在自定义post类型上进行sidescroll。客户端现在也希望返回视频。现在，我正在使用正则表达式解析帖子中的所有图像，但它不是抓取视频。此外，我讨厌依赖正则表达式，因为它不可能也抓取url等与目前的实现。
有没有一种方法可以获取与帖子相关的所有附件(不包括自定义字段缩略图)，然后将附件填充到页面上的元素中？
浏览 0提问于2013-12-18得票数 1
我想动态上传内容从足球现场得分网站到我的数据库。如果你能帮助我只与该网页的数据连接和检索，我将管理其余的。
浏览 0提问于2010-06-02得票数 0
回答已采纳
5回答
我想爬行通过，比方说，其他公司的网站，如汽车和提取只读信息在我的本地数据库。然后我希望能够在我的网站上显示这些收集的信息。为了有效地做到这一点，我可能需要一个WCF作业，只是在不断的基础上挖掘数据，刷新数据库，然后提供数据给网站。有关于如何使用解析DOM树的库的代码示例吗？
我是否可以通过WebBrowser控件向
浏览 3提问于2010-10-07得票数 0
回答已采纳
2回答
这是我试图解析的html。我正在尝试使用正则表达式来解析数据。我听说过BeautifulSoup，但页面上大约有50个这样的项目，它们都使用相同的表参数，并且都没有ID号。它们最接近唯一标识符的是单元格中的数据，而不是我需要的数据。</td>", so
浏览 2提问于2011-05-17得票数 0
到目前为止，我已经成功地导航到正确的拍卖网页，并使用Selenium下载了该网页。我现在有点卡住了，我想知道如何继续。我是网络抓取的新手，所以目前我只是在尝试一些东西。
谢谢!
浏览 0提问于2020-08-05得票数 0
我只想在结果中得到结果，而不是HTML标记的开销，这意味着我必须对正则表达式进行一些定制。我怎样才能改进(已经非常好的)代码！？请看这里的url：每一个想法和tipp都将得到极大的赞赏
浏览 2提问于2010-12-10得票数 0
/记录问题：为了解决这个问题，我们创建了下面的RegEx来查找有问题的值\x2C(^\x22.*^\x22)\x2C
使用上面的正则表达式，它可以在第一个和最后一个字段之
浏览 0提问于2011-06-21得票数 2
2回答
尝试从IRC消息中隔离链接
、、、、
我有一个IRC机器人我正在工作，我想要它的一个功能是接受任何人发布的链接，并使用BeautifulSoup来解析该页面。现在，我让机器人工作了，获取人们发布的消息，等等。但是，我如何从IRC消息中提取链接呢？假设有人这样说：我如何取出链接并将其分配给一个变量以供以后使用，而不拉出消息的其他部分？
我认为这与正则表达式有关，但我不确定。
浏览 0提问于2012-07-28得票数 0
回答已采纳
格式如下所示：":“之间的所有内容都是我想用正则表达式提取的数据。如果一个:后跟另一个：(如"::")，则此数据必须为"“(空字符串)。目前我正在使用这个正则表达式来解析它：现在我想到":“也可能存在于数据中。所以它必须被转义。示例：
"foo:bar:beer:\::1337&qu
浏览 0提问于2012-04-18得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
