XPath:提取除包含特定域名的URL之外的所有URL

文章/答案/技术大牛

发布

1回答

html、xml、xpath

我试图从页面中仅提取一组URL，但我的输出中包含一些我想忽略的不需要的URL。下面是用于提取所有URL的表达式： //div[contains(@id,'internal_trc_')]/div/a[2]/@href 我试过了，但没有成功： //div[contains(@id,

浏览 15提问于2019-02-09得票数 1

回答已采纳

1回答

使用xidel +垃圾收集函数的负正则表达式

xidel

我当前使用此命令从站点提取URL这将提取所有URL (.*)，但我想以一种不提取URI路径中包含特定字符串的URL的方式进行

浏览 0提问于2019-06-14得票数 0

2回答

java regex忽略URL中的域名，并考虑其他所有内容

java、regex

下面是我的案例：我需要如下输出: thumbnail/58043233791488_testfit_image?X-Amz-Security-Token=xyz 对此有什么帮助吗？

浏览 1提问于2017-04-19得票数 0

1回答

什么是一个好的管道来创建一个可扩展的，分布式的网络爬虫和刮板？

database、performance、scrapy、scalability、pipeline

我知道大多数webs并不相等，但是列表中的大多数URL遵循一种特定的逻辑类型：其他方法对其他网站都有好处，如果我已经可以从80%的数据中提取出我需要的信息，我会对结果非常满意。本质上，我担心的是构建一个

浏览 3提问于2019-02-21得票数 1

回答已采纳

1回答

正则表达式是否匹配除包含特定目录的URL之外的所有URL？

regex、iis

我需要一个正则表达式用于IIS URL重写，它将仅在该表达式与除特定子根目录之外的URL的任何部分匹配时才处理规则。示例：www.mysite.com/inventory -不处理域名后面以/inventory开头的任何网址

浏览 3提问于2015-10-31得票数 0

1回答

查询/url所采取的路由

url、server、routing

我想知道查询/url为从服务器获取数据而采取的路由(所有中间服务器/路由器/等等和最终目的地)。有什么可以帮忙的吗？

浏览 3提问于2018-08-20得票数 1

回答已采纳

1回答

我是新手，所以如果只有一个我应该检查的链接，这可能会有帮助(我已经花了相当多的时间在谷歌上搜索，仍然在努力)，尽管代码更正技巧更受欢迎：)。我正在编写scrapy教程()，用原始代码输出一个很长的列表，其中包括字段名称和类似" field : output“的输出，其中空格和找到的项都会出现。我只想包括找到的链接，并输出他们没有域名到一个文件。在本例中，作为实验，我只想在URL中包含字符串"Jane“时返回

浏览 5提问于2018-08-21得票数 0

回答已采纳

1回答

如何使用Nginx对除特定URL之外的所有URL进行URL重写？

nginx、url-rewriting

我在Nginx1.8中部署了我的web应用程序，并使用Nginx进行反向代理配置。 URL ->必须将index.html显示为URL ->必须将index.html显示

浏览 1提问于2015-05-12得票数 0

1回答

在nginx中有没有区分location / {}和location /index {}的方法？

nginx、proxy、http-proxy、nginx-location

logic to handle the index目前，当我首先运行nginx时location /index无法让called.Is找到区分这两个位置的方法，否则我必须专门写出所有的位置。

浏览 1提问于2017-05-10得票数 0

1回答

如何mod_rewrite除某些特定URL之外的所有传入URL？

.htaccess、mod-rewrite

我正在尝试重写URL，其中有几个固定页面的URL，而其他所有内容都被重写。这是我需要的： domain.com/domain.com/* (anything else) 应重定向至： /index.php/display.php

浏览 5提问于2019-02-08得票数 0

1回答

为特定域创建iam角色

amazon-web-services、amazon-ec2、amazon-iam、amazon-route53

如何创建EC2实例除特定域名外对route53拥有完全访问权限的角色？我一直在查看该条件，但不知道如何授予除特定域之外的所有访问权限

浏览 11提问于2020-09-24得票数 0

1回答

我正在使用Intelligencia.UrlRewriter进行网址重写追加

asp.net、url-rewriting、web-config、asp.net-3.5、urlrewriter.net

我在我的asp.net应用程序中使用Intelligencia.UrlRewriter进行网址重写。我的URL结构类似于www.example.com/media/index.html。我正面临着一个网址重写的大问题，什么附加了上面提到的网址，它带到相同的page.How，我可以防止附加分开？和/ My URL重写代码如下。<rewrite url="^/media/index.html

浏览 3提问于2018-02-21得票数 0

1回答

刮伤与图像刮伤问题

python、web-scraping、scrapy

因此，我一直试图通过创建一个非常基本的爬虫来学习Python。目前，除图片外，我所有的抓取工作都如愿以偿：snowboard['image_URL'] = ''.join(item.xpath(&

浏览 2提问于2014-06-25得票数 1

回答已采纳

1回答

避免对ImportXML的多次调用

xml、xpath、google-sheets、google-sheets-importxml

对于每个视频，我使用ImportXML从各个YouTube视频页面获取以下数据：要说清楚的是，我没有问题用这种方式使用ImportXML。这种方法非常有效。问题是，每个单独的数据都使用它自己的ImportXML调用。这限制了我的16个视频，因为谷歌的合理限制是每页50个电话。3条数据* 16条视频= 48条电话，比最大值少2条。我认为我想做的是，每个视频打一个电话，抓取整个HTML，将其填充到一个隐藏的单元格中，然后解析该单元格以获取数据。

浏览 3提问于2012-06-08得票数 0

2回答

PHP正则表达式，如果表达式有效，则从另一个字符串中删除字符串

php、regex、php-7

像这样的问题有很多，但我找不到确切的答案。和我不熟悉的常规表达话题。PHP7 :我想检查$str是否包含html代码，以及它的href是否像'<a href="www.website.fr/123/">*****</a>'一样引用url："website.fr" 我使用了模式有什么需要帮忙的吗？

浏览 0提问于2019-02-10得票数 0

1回答

从RSS中提取锚点文本

php、rss、web-scraping

各位朋友：下面是RSS：require_once('si

浏览 1提问于2011-05-29得票数 0

回答已采纳

5回答

如何重写除特定域名以外的URL？

perl、url、replace、regex

$1，但对或这样的urls不做任何事情非常感谢!

浏览 0提问于2010-01-27得票数 1

回答已采纳

1回答

ElementTree XML解析只返回sitemap.org吗？

python、xml-parsing、elementtree

试着四处寻找一个简单的解释，说明我在哪里出错，但没有真正找到一个。{http://www.sitemaps.org/schemas/sitemap/0.9}url{http://www.sitemaps.org/schemas/sitemap/0.9}url {http:&#x

浏览 1提问于2014-02-24得票数 0

回答已采纳

1回答

在除特定URL之外的所有页面上强制HTTP

.htaccess、mod-rewrite、https

我有一种情况，我需要强制我的网站中的每一个页面重定向到HTTP，除了两个特定的URL，需要强制重定向到HTTPS。HTTPS页面的两个页面是：/课程/注册/ 我在.htaccess文件中使用的代码如下所示microsoft-moc-on-demand-video-training/moc-re

浏览 0提问于2016-02-02得票数 1

1回答

htpassword用于除特定url之外的所有传入流量

apache、.htaccess

我正在使用htpassword来保护我的一台服务器。我想将进入单个子域的流量重定向到另一个域，同时保持htpassword对所有其他流量有效。我正在努力寻找任何关于这样做的信息的资源，有人可以帮助链接建议或代码……AuthName "Members Only" AuthType

浏览 1提问于2012-01-10得票数 1

回答已采纳

点击加载更多