包含子字符串的属性的Web抓取

文章/答案/技术大牛

发布

1回答

r、xpath、rvest、xml2

我正在使用R中的xml2包从网页中抓取数据。我要抓取的文本包含在如下所示的标记中：<a href="javascript:WebForm_DoPostBackWithOptions(new nodes = html_nodes(page, xpath='//td/a[@href*="javascript"

浏览 56提问于2016-08-09得票数 1

2回答

rapidminer是否可以从URLS列表中提取xpath，而不是先保存HTML页面？

xpath、screen-scraping、web-scraping、data-mining、rapidminer

我最近发现了RapidMiner，我对它的功能感到非常兴奋。然而，我仍然不确定这个程序是否能帮助我满足我的特定需求。我想让程序从我用另一个程序生成的URL列表中抓取xpath匹配项。(与RapidMiner中的“爬网”操作符相比，它有更多的选项) 我看过Neil Mcguigan的以下教程：。但我试图抓取的网站有数千个页面，我不想把它们都存储在我的pc上。有没有一种方法可以让它读取URLS，然后从每个URLS中<em

浏览 1提问于2012-01-28得票数 2

1回答

Xpath/PHP:匹配类子字符串的问题

php、xpath

我试图在p元素的class属性中匹配一个简单的子字符串，但得到了错误： ->filter( // Unexpected pseudo-element "::p" found not at the end of a selector 我从这里得到<

浏览 1提问于2019-04-09得票数 0

1回答

Scrapy -基于正则表达式处理的异地请求

python、regex、scrapy

我必须抓取5-6个域名。我想写一个爬虫，这样离线请求如果包含一些子字符串的例子设置为aaa，bbb，ccc，如果离线url包含来自上面设置的子字符串，那么它应该被处理，而不是过滤掉。我应该编写一个自定义中间件，或者我可以只在允许的域中使用正则表达式。

浏览 11提问于2016-08-23得票数 0

回答已采纳

1回答

子菜单链接上的每次单击功能的问题

javascript、jquery、attr、mousedown

好的，这里有一个非常非常奇怪的问题。我有一个链接到同一页面的子导航菜单，但通过URL传递了一个GET变量，以便小应用程序知道要显示哪个服务。我遇到的问题是，无论单击子菜单中的哪个链接，jQuery都会返回列表中最后一个链接的属性。我甚至尝试将事件绑定到外部的'li‘元素，但同样的问题也出现了！无论我试图获取哪个属性，它都会发生。这不是问题，除非我试图阻止链接重新加载页面，而所有的小应用程序

浏览 0提问于2012-05-03得票数 0

回答已采纳

2回答

特殊字符上的不同命令

python、mongodb

我有JSON(字段:线程，作者，子数)存储在mongodb中，字符串属性(基本上是从论坛抓取的线程的名称)也有这样的字符，collection.distinct(Thread) 对这些属性执行的命令失败。Map reduce会在这样的字符串上工作得更好吗？还是有其他的解决方案？

浏览 2提问于2012-04-09得票数 0

回答已采纳

4回答

django中的过滤模型

django、model

我是django和web框架的新手。我正在尝试过滤django中的模型，给出它的属性Group的子字符串现在，我的Group属性包含一对由"/“表示的值，

浏览 2提问于2013-03-07得票数 2

回答已采纳

4回答

从字符串中获取子字符串

php、arrays、string、substring

我有一根绳子如何生成一个名为$name的字符串，该字符串的值存储为john。如何提取包含在=和G之间的字符串$line中的子字符串。或者从第一次遇到=时抓取一个由4个字符组成的子字符串(这将适用于我)。

浏览 5提问于2015-06-06得票数 1

回答已采纳

3回答

在Java中使用子字符串()

java、string、substring、jsoup

为了从IMDB中提取电影信息，我创建了一个基本的web刮刀。然而，当我抓取体裁时，我不得不得到这样的输出：是否有一种方法可以使用子字符串()，以便当它命中一个数字时，它将带走其余的字符串？在这种情况下，数字27。

浏览 2提问于2013-10-19得票数 0

回答已采纳

1回答

使用regex查找字符串模式并将结果追加到列表中

python、python-3.x、string、python-re

我是一个在Python上使用re库的菜鸟。我正在做一个Web抓取，我想匹配一些字符串模式并在列表中追加值。strings above: parking.append(nan)我使用BeautifulSoup创建web抓取，属性值的结果如下：[<li class="specs

浏览 3提问于2020-10-02得票数 0

回答已采纳

1回答

使用子字符串匹配搜索DN

search、ldap、openldap

具体来说，我在我的一个自定义类中添加了一个属性(certSubjectDN)，它包含一个DN，用于使用智能卡(PKI auth)在web服务器上进行基于证书的身份验证。据我所知，带有子字符串匹配Active Directory的筛选搜索(例如(certSubjectDN=CN=lastname.firstname*) )将与值以'CN=lastname.firstname‘开头的任何条目匹配。我尝试向属性S

浏览 2提问于2016-03-15得票数 1

回答已采纳

4回答

是否有办法在字符串变量中增加数值？[Python]

python、string

我正在尝试一些web抓取，它需要循环遍历一些具有字符串格式属性的元素。但是字符串是一个数值，在整个元素中都会增加。data-id="1" 是否有方法将数据id的值增加到"2“到"3”，等等，而它仍然是字符串格式的？

浏览 6提问于2020-11-12得票数 2

回答已采纳

1回答

XML节点属性在填充时是否返回为NULL？

c#、xml

我有一个XML文档，我正在提取一个特定的Node及其所有属性。在调试模式下，我可以看到我正在获取特定节点及其所有属性。但是，当我尝试获取属性值时，它找不到它，并返回一个空值。我已经做了一些搜索，并查看了一些示例，从我所能看出的情况来看，我应该获得价值，但我没有，我也看不出我做错了什么。下面是返回的XML。 XmlNodeList nodes = xmlDoc.GetElementsByTagName(&qu

浏览 0提问于2018-10-20得票数 1

2回答

如何查找neo4j中的节点属性并将其更新为新文本

neo4j、cypher、graph-databases、neo4j-apoc

在我的NEO4J DB中，我希望编写一个查询，该查询将查找包含子字符串的节点的所有属性，并更新该子字符串。我希望找到包含'NEO4J‘的属性，并将该值更新为与它们对应的'SQL’。基本上，更新包含该子字符串的字符串。

浏览 7提问于2022-10-13得票数 1

1回答

如何在使用Selenium抓取文本后用Python将替换字符转换为UTF-8字符

python、html、selenium、decoding、string-decoding

我使用此子例程从特定类子节点中抓取文本 elements = WebDriverWait(self.driver, 10).until(EC.presence_of_all_elements_located((By.CLASS_NAME, "gamesRow"))) self.formatBets(a.text) 在应用.text属性之后，转换后的字符串如下所示150-1854:08 PM

浏览 71提问于2021-05-06得票数 0

1回答

LINQ查询以查找在一列上搜索多个子字符串的项

linq

Select * from web_data where Title like "%Lawn%" || Title like "%silk%"......and so on.草坪，丝绸等在List<web_data>。因此，我正在寻找一种在Title列(discription属性)中搜索这些子字符串的方法。其中一个必须包含，然后应该返回行。linq到sql代码返回一个错误：本地序列不能在查询运算符的</em

浏览 0提问于2018-10-24得票数 1

1回答

亚现场CrossListQueryInfo

sharepoint、caching、sharepoint-2010

情况是：我需要使用CrossListQueryInfo在所有列表中查找项目，但就在这个子站点(SPWeb)中，我需要Webs = "<Webs Scope=\"Recursive\" />",var cache = new CrossList

浏览 0提问于2013-01-04得票数 1

3回答

LInq查询集合内的集合

c#、linq、linq-to-objects

我的对象包含一个集合集合。我喜欢获取所有子对象in并将其存储在字符串数组中。MainObject包含父级列表子属性为(Id，Name) 如何使用linq查询MainObject并找到所有子it并将其存储在字符串数组中？

浏览 0提问于2011-05-31得票数 7

回答已采纳

1回答

只从包含特定子字符串的行获取第一个令牌中未知位置的令牌。

windows、batch-file、command-line

我有一个日志文件，其中包含的行类似于： asdfj:C:kkl 4jdfj:C:asdfj 4 5 6 5 4 3 2 3 4 5 5 6 7 6 5 789 6 我需要从包含子字符串":C:“(示例中的第2、5、6行)的字

浏览 2提问于2017-02-24得票数 0

回答已采纳

1回答

Web抓取tittle属性的内容

html、python-3.x、web

我正在学习如何使用Beautiful Soup来编写网络刮刀的教程。 https://youtu.be/XQgXKtPSzUI?t=1229这里是我的路障的带有时间戳的教程。然而，当涉及到获取项目名称时，我不知道我是否偏离了教程，或者网站的结构是否发生了变化，但我无法做到这一点。下面是我的代码： from urllib.request import urlopen as uReq

浏览 13提问于2020-04-26得票数 1

回答已采纳

点击加载更多