如何从片段(#)菜单中进行web抓取

文章/答案/技术大牛

发布

1回答

r、web-scraping、rvest

我是webscraping的新手，我可以使用rvest做基础工作，但我想要的信息在#片段中； https://www.neurosynth.org/analyses/terms/dorsomedialterms/dorsomedial%20prefrontal/#studies website %>% html_elements("#analysis-studies-table a") 在使用选择器小工具从“研究”子菜单

浏览 15提问于2021-10-25得票数 0

2回答

无法读取null (读取'ShadowRoot') - Java和Selenium的属性

javascript、java、selenium、web-scraping

我正在尝试使用Java和Selenium进行web抓取，但是对于我需要进行web抓取的一部分，它要求我访问一个影子DOM元素。我正在使用Javascript来访问它，并且我正在输入检索我正在寻找的内容所需的querySelector片段，但是我得到了一个“无法读取null属性(读取'ShadowRoot')”错误。有没有人熟悉这件事，以及如何解决？下面是我的代码片段： String pagePdfUrl = (S

浏览 15提问于2021-12-06得票数 0

1回答

使用python从同一网页中的多个链接中提取数据

python、web-scraping、beautifulsoup、python-requests

我是蟒蛇和网络抓取的新手。我试图从这个链接中提取关于临床诊断测试的测试成分的信息。最后，将包含测试组件名称的数据框架放在一列中，将常见问题中的每个问题作为其余的列(如下所示)放在一起。

浏览 1提问于2018-01-19得票数 0

4回答

一些帮助在Java中抓取页面

java、html、xhtml、screen-scraping

我需要使用Java抓取web页面，我读到过regex是一种非常低效的方法，应该将其放入DOM文档中进行导航。谢谢。

浏览 0提问于2011-01-02得票数 6

回答已采纳

1回答

使用python beatifulsoup解析整个网站

python、web-scraping、beautifulsoup、scrapy

我如何解析整个网站，我的意思是，一个网站的所有页面。link.get('href'))df = pd.DataFrame(links)你能告诉我如何才能解析整个网站

浏览 1提问于2018-11-08得票数 1

1回答

如何从web归档文件下载网站

apache、unix、ubuntu、wget、darwin

我几乎花了一个月的时间试图弄清楚如何从web.archive.org的web存档中下载网站 sudo wget --limit-rate=200k --no-clobber --convert-links--random-wait -r -p -E -e robots=off -U mozilla http://web.archive.org/web/20031208182936/http://www.domain.c

浏览 0提问于2017-01-25得票数 1

2回答

Web抓取:如何从HTML片段中提取href？

html、web-scraping、beautifulsoup

我正在尝试建立一个房地产网络抓取脚本，我被困在如何从这段超文本标记语言代码从this网站的BeautifulSoup获得的href 目标元素的HTML： <a data-v-0354ca3a="" href

浏览 54提问于2021-09-24得票数 1

回答已采纳

1回答

WebHarvest -使用身份验证抓取数据

webharvest

我正在使用WebHarvest工具从几个网站抓取web数据。我已经看过了示例，但是找不到一种方法来在网站上进行身份验证，然后从网站上抓取数据。谁能举出一个通过身份验证实现web数据抓取的配置示例？如何发送登录参数，然后接收主页内容？感谢你在这方面的帮助。

浏览 9提问于2014-04-14得票数 1

2回答

用分隔符将列文本分割成R中的多个不同的列

r、etl、reshape

这些数据是通过web抓取来提取的，我需要对其进行转换以进行分析。举个例子，我复制了一行，其中我只需要"id":357和“片段”：“新闻/音频”作为信息。你知道我如何在R中变换它吗？:"journalism/audio","position":1,"parent_id":13,"parent_name":"Journalism",&q

浏览 9提问于2021-12-13得票数 0

1回答

用Java在HtmlUnit中实现网页抓取

java、web-scraping、htmlunit

我刚刚开始接触抓取之类的东西，并且写了一段简单的代码。我正在尝试访问这个websie https://parimatch.com (这是一个投注网站)，我只想从它获得字符串形式的信息，就是它。

浏览 17提问于2021-10-21得票数 0

回答已采纳

2回答

刮擦高特，等待满载

php、symfony、scrape、goutte

我试图通过Goutte从流行的拍卖web服务中抓取，但是它们的代码片段是由javascript提供的，问题是Goutte只返回我没有JS作业的DOM。那么，如果交响乐是无头浏览器，那么等待抓取直到呈现完整的内容是正确的吗？我检查过正常的幻影，但我在古特从来没有发现过这种能力。

浏览 14提问于2017-12-23得票数 3

回答已采纳

1回答

WSO2决策支持系统中利用网络采集的后送值

wso2、wso2-data-services-server

当使用WSO2决策支持系统的Web收获特性时，如何通过POST将参数发送到服务，如下面所配置的服务： <var-def name="someName">html-to-xml> </config> 例如，如果我想通过POST发送vars "firstField“、"secondField”和"someFileName"，那么在配置中应该在哪里

浏览 1提问于2013-11-30得票数 0

回答已采纳

2回答

使用Bash脚本在python库上进行web抓取？

python、bash、curl、sed、web-scraping

我正在尝试从有经验的人那里获取更多的信息，一般来说，我正在使用Python库进行web抓取。与此同时，我注意到一些人正在使用simple Bash，并使用wget, curl, sed, grep, awk等命令进行web抓取。与使用Python库进行web抓取相比，这些命令在脚本编写方面似乎要干净得多。你对此有什么看法？您认为使用python库比使用Bash有什么优势吗？或者甚至使用Python和Bash来完成<

浏览 1提问于2017-03-03得票数 0

2回答

仅在IntelliJ中设置选定代码块的格式

intellij-idea

我只能使用IntelliJ对整个文件或整个项目进行格式化。我在MacOS上使用社区版2017.2。

浏览 0提问于2017-08-18得票数 8

1回答

安卓片段和SlidingMenu

android、android-fragments、android-fragmentactivity

我正在构建一个使用slidingmenu库的应用程序：选项1:当用户单击滑动菜单选项时，启动一个新的活动，该活动也实现了滑动菜单。选项2:当用户单击滑动菜单选项时，交换到主活动中的新片段。在这种情况下，我基本上会有一个活动，它托管几个不同的片段，这些片段可以根据用户选择的菜单选项进行交换。有没有人从以上

浏览 1提问于2013-01-06得票数 1

1回答

从多个站点进行Web抓取

python-3.x

我想采取标题的新闻文章和链接从文章从多个网站。"https://ec.europa.eu" + link print()问题是，对于无效链接，我得到了一个错误，我不知道如何解决这个问题

浏览 2提问于2022-01-22得票数 0

2回答

css和jquery在ajax请求上不能正确加载

javascript、jquery、jquery-mobile

我有一个使用Jquery Mobile构建的web应用程序。问题是，当我在菜单中单击一个链接时，css和jquery不能正确加载。只有当页面通过ajax请求抓取时，才会发生这种情况。当禁用ajax请求或刷新页面时，布局将恢复正常从菜单中，当您单击profile链接时，您将看到布局完全混乱。一旦刷新，它就会恢复正常。任何帮助都将不胜感激。

浏览 0提问于2017-04-11得票数 0

4回答

具有相同菜单的片段在相同的布局上会导致重复的菜单项

android、android-layout、android-fragments、android-menu

我有一个布局，其中有2个片段。这些片段使用相同的菜单，因为我有另一个布局，其中只有一个(用于小屏幕设备)。或者，更好的方法是创建两个不同的菜单。一个用于仅具有这些片段中的一个的布局(用于小屏幕设备)，

浏览 7提问于2011-12-12得票数 13

2回答

用Selenium更改Google检查排序

python、selenium、web-scraping、xpath、webdriverwait

我的**Web抓取**用例面临着有趣的问题。我需要得到最新的**谷歌地图的评论**。我想按最近的日期对评论进行排序。我看的所有教程都是用英语写的，但在我的母语中，UI和那些教程不一样。我可以使用**Selenium**和按钮的**XPATH**单击按钮，但我不知道如何从可见的drop菜单中更改排序选项。

浏览 5提问于2022-01-05得票数 1

回答已采纳

1回答

Java UDP torrent tracker抓取请求？

java、udp、bittorrent、tracker

有没有人有任何可以进行UDP跟踪器抓取的代码片段？我有抓取UDP URL和信息散列列表，但不知道如何发送和接收抓取请求。

浏览 50提问于2018-08-14得票数 0

点击加载更多