作为我的论文的一部分，我正在尝试从网络上抓取数据(已经做了几个月了)。我有几个问题最终，我需要从网站上抓取大约12万份文件。哪里是最好的存储数据的地方？我想我可能会分别运行我感兴趣的15
浏览 4提问于2022-07-14得票数 0
1回答
在data中从小部件中拉取数据
、、、、
我创建了一个带有下拉菜单的小部件，并希望使用在HTML下拉菜单中选择的值更新我的ruby查询。我目前正在使用nokogiri拉取localhost仪表板。nokogiri能够从sample.erb中提取数据。但是，包含实际信息(包括下拉列表)的HTML文件不会被nokogiri抓取。HTML抓取了数据绑定div，当我打印出nokogiri pull时，其中没有任何内容。有没有什么办法可以抓取整个HTML，或者将值<e
浏览 3提问于2015-11-24得票数 0
1回答
我正在尝试从https://www.snowyhydro.com.au/our-energy/water/storages/lake-levels-calculator/中抓取数据。我正在尝试通过使用R的下拉菜单进一步抓取不同年份的湖泊水位。当我在网上搜索各种代码时，我正在为从哪里开始而苦苦挣扎，但我无法获得如何使用R获得不同湖泊
浏览 13提问于2019-02-10得票数 0
回答已采纳
我从另一个开发人员那里继承了一个项目，该项目有一堆下拉菜单，可以从数据库中拉出信息。它的设置方法如下： $agent_list = $obj->select(TABLEPRIFIX.'agent', '*', ['status' =>1 ]); 如果我没看错的话，它基本上是在说"select table 'the_agent‘并抓取状态为1的所有内容“。></option&g
浏览 11提问于2020-04-03得票数 0
回答已采纳
1回答
我正在使用R中的rvest包，我想从一个只包含大约40%的总信息的表中抓取一些数据。我关注了HTML，但它没有指定当不同页面的地址没有差异时如何抓取数据。我正在尝试从获取一些工作列表数据。我已经使用以下代码成功地检索了第一页上的数据： read_html( )
data_raw <
浏览 2提问于2018-06-20得票数 0
3回答
我正在用Django web框架用Python制作一个网络抓取应用程序。我需要用漂亮的汤库抓取多个查询。下面是我写的代码的快照： r = requests.get(url) links= soup.find_all("a", {"class":"dev-link"})
实际上，网页的抓取是按顺
浏览 0提问于2017-05-29得票数 2
5回答
我的公共模板将数据从Postgres抓取到一个下拉菜单。模板在下拉菜单中显示数据。激活选择时，会发生以下错误：模板代码、视图和URL如下：
浏览 5提问于2009-01-15得票数 0
回答已采纳
我正在写一个程序从多个网址抓取数据使用多处理。在这里，我存储了bonds_url列表中的所有URL。它起作用了，我得到了输出，但这里的问题是输出是随机顺序的。我希望抓取的数据的顺序与bonds_url中URL的顺序相同。有什么解决方案吗？
浏览 11提问于2021-09-07得票数 0
我正在尝试从多个urls中抓取表。我使用以下代码从单个url中抓取表：library(rvest)
html_element('table.table_subtle') %>
浏览 4提问于2022-08-05得票数 0
回答已采纳
2回答
我正在尝试从以下网站抓取数据与4个下拉菜单-在单击每个下拉菜单后，他们显示一个表格，我想从那里抓取数据。我想合并来自所有下拉菜单中的所有表的信息。我正在使用RSelenium包，但是由于我对网络抓取非常陌生，我不能理解如何使用四个可用选项来制作循环来获得最终的表格。https://hindi.iocl.com/lpgdistributors.aspx
浏览 18提问于2021-10-11得票数 0
我正在使用python和Beautiful Soup从网络上抓取足球运动员的统计数据。我将从多个来源抓取，每个来源将有关于每个玩家的各种变量，包括字符串，整数和布尔值。最终，我想将这些数据放入数据挖掘工具或分析工具中，以便发现趋势。这将需要是可搜索的，我将需要能够添加数据到一个球员的信息时，我从一个不同的顺序从一个新的来源。我应该使用什么技术来存储数据，这样我才能
浏览 3提问于2016-07-29得票数 1
我正在尝试从这个网站(https://pigeon-ndb.com/races/)获取数据。访问数据的方法是:单击一个下拉菜单("Choose an Organization")中的一个选项值，然后从随后的下拉菜单("Choose a Race")中单击另一个值，该下拉菜单根据在上一个下拉菜单中单击的值填充选项我们的目标是在通过两个<em
浏览 17提问于2019-05-01得票数 0
我想从以下方面收集数据：
from lxml.etree import fromstring, HTMLParserr= requests.get(base_url).content
xml = fromstring(r, HT
浏览 0提问于2018-09-21得票数 0
回答已采纳
我想从一个使用Python中的“美丽汤”的网站上抓取数据。网站根据用户的选择更改下拉菜单的值。在更改下拉菜单的值时没有api调用。仔细看一下，我注意到有一个javascript函数在内部调用，以获取下拉菜单的值。我的问题是下拉菜单的值不在页面源中。它们是通过调用js函数获得的，但是没有api调用，我不能请求那个值。有人能告诉我如何从python代码中调用javascript函数吗？我在用漂亮汤刮网。
浏览 7提问于2014-04-06得票数 1
回答已采纳
1回答
使用R从PDF中抓取数据
、、、
我想从这个PDF 中提取数据(滑雪跳伞)。我对所有数据都感兴趣，除了bib、club和pdf_text("raw/data.pdf") %>% strsplit(split = "\n")
而我却被困在这里。
浏览 0提问于2018-11-19得票数 2
1回答
我想要创建一个爬虫，将刮一些数据从。理想情况下，它将(A) (a)识别到所有地点的链接，(b)收集到每个地点所有景点的链接，(c)将收集所有评论的目的地名称、日期和评级。我现在想重点谈谈(a)部分。它似乎使用javascript函数来实现这一点。'27' src='http://e2.tacdn.com/img2/x.gif'/>
See more popular destinations in New Zealand </div
浏览 3提问于2015-04-18得票数 9
回答已采纳
1回答
我在一个C++软件中使用OpenCV "VideoCapture read(frame)“和"VideoWriter write(frame)”。我使用的是Ubuntu 14.04 LTS操作系统。谁能概述一下OpenCV在解码/编码视频方面做了些什么？从摄像头到我的
浏览 2提问于2016-03-18得票数 4
2回答
所以我写了一些在页面加载上运行的代码，代码的目标是从一个特定的下拉菜单中抓取所有的项目，将这些项目存储在一个数组中，然后一个接一个地将这些项目从数组中添加回下拉菜单中，按照自定义的顺序。这是我的问题，在这个特定的页面上有7个下拉菜单，在页面加载上它正在做它应该做的事情，它正在完美地定制订单。根据用户所做的选择，它会过滤另一个下拉列表。问题是，我是基于一个has(option:contains())抓取</em
浏览 0提问于2015-05-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
