从json源抓取数据，为什么我只得到1行？

文章/答案/技术大牛

发布

1回答

python、json、python-2.7、csv、web-scraping

我正在尝试从一个python网站上获取一些信息，从一个网上商店。我试过这个： data = my_url.json</

浏览 0提问于2019-02-25得票数 0

回答已采纳

1回答

从json源中抓取数据

python、json、web-scraping、request

所以，我正在尝试从一个python网站，从一个网上商店获取一些信息。my_url = requests.get(MY_URL) headers = "Name, Price, Link\n"f.close() 在这个网上商店中有很多具有这些属性"productModel

浏览 0提问于2019-02-22得票数 0

1回答

如何在Python中对嵌套列表进行How抓取？

python、web-scraping

网站链接：from selenium import webdriverfrom bs4 import BeautifulSoup result

浏览 1提问于2022-05-11得票数 -2

回答已采纳

2回答

我不能抓取每个链接内容的具体时间段从确实

python、selenium、selenium-webdriver、web-scraping、selenium-chromedriver

我是python和web scraping的新手。您的帮助我们将不胜感激。我在编程和练习方面是新手。我正在使用python和selenium进行web抓取。我正在试着从事实上抓取数据。我写了以下代码，但是它正确地获取了页面上的所有链接，然后当我试图打开每个链接时，它只打开了第一个链接。我怎样才能打开我一个接一个的链接。提前感谢，下面是我的代码示例： import time from seleniu

浏览 33提问于2020-07-15得票数 1

回答已采纳

2回答

阅读来自MLB网站的游戏统计表，进入美丽的汤

python、beautifulsoup

我正试着从美国职棒大联盟球员网站(https://www.mlb.com/player/charlie-morton-450203?stats=gamelogs-r-pitching-mlb&year=2019)上抓取/读取游戏统计表。我似乎找不到/捕获不到类名。当我在chrome中“检查HTML”时，我可以看到类名，但是美汤似乎没有发现它。是否有一些解决方法/技巧可以让它正确地进入？

浏览 21提问于2019-06-25得票数 0

回答已采纳

3回答

与我从“检查”中看到的源不同的页面HTML源

python、html、python-3.x、web-scraping

我试着用Python在表中节省按需和中断信息的频率。import requests source = requests.get('https://aws.amazon.com/ec2/spot

浏览 0提问于2019-01-23得票数 1

回答已采纳

3回答

“美丽的汤”查找()并不能找到类的所有结果

python、html、web-scraping、beautifulsoup

我有代码试图在tracklist容器中提取所有html内容，它应该有88首歌曲。信息肯定在那里(我打印了汤以检查)，所以我不知道为什么前30 react-contextmenu-wrapper之后的所有东西都丢失了。感觉我的搜索结果被截断了。

浏览 6提问于2019-10-05得票数 1

回答已采纳

2回答

将数据从json源抓取到csv中

python、json、python-2.7、web-scraping、request

我正试图从一个有python的网站上，从一家网店获得一些信息。我试过这个： data = my_url.json我想要网络-刮名字，价格和网

浏览 0提问于2019-02-25得票数 0

回答已采纳

1回答

将侦听器添加到DOM元素HTML更新。壁虎、C#.Net、Java

java、javascript、dom、gecko、geckofx

我正在查看以下站点: www.example.com我想异步地做这件事:不需要在循环中检查元素的HTML。如果没有更新，我什么也不想做。如果有更新，我</e

浏览 0提问于2011-11-17得票数 3

回答已采纳

2回答

python抓取网页并解析内容

python、json、parsing、web-scraping、data-cleaning

我想要抓取此链接上的数据 import requests url='http://www.realclearpolitics.com/epolls/json/5491_historical.js?1453388629140&callback=return_<e

浏览 0提问于2016-11-10得票数 1

1回答

如何用python发出xhr post请求

python、web-scraping、xmlhttprequest

因此，我试图废弃一个需要post请求来检索数据的网站，但我没有运气。我的最后一次尝试是这样的: from requests从bs4导入会话导入BeautifulSoup 'skinId':"betrebels" headers={'Accept&

浏览 5提问于2017-07-16得票数 0

2回答

使用XMLHttpRequest时，单源策略妨碍了我

javascript、xmlhttprequest

这是我的情况--我在一个允许API访问的站点上有一个帐户。因此，从理论上讲，我可以编写一个程序来通过它的API查询站点。我想建立一个使用javascript的本地html页面，它显示了从API调用这个网站返回的一些结果。我的第一个想法是使用XMLHttpRequest，它不会从站点返回任何内容--这是由于单一来源策略造成的已知问题。我无法控制API返回的内容--要么返回XML，要么什么都不返回。有没有什么我

浏览 4提问于2013-11-11得票数 0

1回答

在heroku上部署scrapy项目

python-2.7、heroku、scrapy、scrapyd

我有一个抓取蜘蛛项目，它报废了一些网站，并获取我的数据上。我的爬行器生成两个JSON文件，所有抓取的数据都存储在这两个文件中。现在，我有一个flask web服务，它使用上述两个JSON文件来满足用户的请求。我已经在heroku上部署了这个flask web服务，并且运行良好。我这里的问题是，我每天在本地机器上运行scrapy spider，然后手动更新hero

浏览 1提问于2014-04-24得票数 2

1回答

我可以创建一个通用的函数来抓取事件列表吗？

html、ruby、events、web-scraping、calendar

我正在处理一个项目，其中我想要显示大量事件列表，但为了这样做，我必须从多个站点拉取事件数据。它们中的一些有日历，一些有纯HTML列表；基本上，每个站点提供的数据都不同。我是否需要逐个抓取每个网站，或者有没有一个通用的函数可以保存每个网站的数据？谢谢!

浏览 1提问于2018-10-29得票数 1

1回答

如何将多个外部事件拖放到FullCalendar中？

jquery、fullcalendar

我正在使用jQuery FullCalendar，并使用它提供的外部事件。我希望能够将多个事件(同时添加多个事件)拖放到FullCalendar中。我试图在每个事件旁边使用一个复选框，但无法让事件对象将其放到FullCalendar中。

浏览 2提问于2011-11-21得票数 0

1回答

如果Lambda函数失败，是否有一种恢复动态数据的方法？

amazon-web-services、aws-lambda、amazon-cloudwatch、amazon-kinesis、amazon-kinesis-firehose

上下文:我正在使用lambda函数从第三方源抓取数据(这个lambda函数被调用了我的一个cloudwatch事件桥，因此它是异步的)，然后将该数据写入kinesis，将其写到一个S3桶中。这允许数据缓冲，并确保数据被写入S3，而不管S3连接失败(因为动态将保持数据并重新尝试写入)。我用块从第三方源中抓取数据(这意味着我会进行多

浏览 12提问于2022-07-17得票数 1

回答已采纳

4回答

Visual 2013 ADO.net实体模型没有Oracle数据源

c#、oracle、entity-framework、visual-studio-2013

我刚刚安装了visual studio 2013，并尝试设置实体框架来访问oracle数据库。我单击新的ADO.NET实体模型，然后从数据库中生成，但是在数据连接屏幕上，当我单击"New“时，不会看到oracle显示数据源列表。我只得到两个SQL server选项。我需要安装一些额外的东西才能让它起作用吗？ Oracle数据源出现在我2

浏览 6提问于2013-10-31得票数 10

回答已采纳

1回答

支持internet连接的MVVM教程/示例代码

c#、wpf、mvvm

我理解MVVM的视图和ViewModel部分，但我仍然不太清楚的是如何将应用程序连接到互联网上的数据源(假设您从web上抓取了一些XML或JSON )，特别是这些代码在您的应用程序中的位置。是否有人可以提供或链接到一些示例代码或教程，指导您完成从Web获取数据的简单WPF (或Silverlight)应用程序的设置？

浏览 3提问于2011-01-31得票数 4

回答已采纳

2回答

这个场景的哪个控件？

asp.net

我有一个页面，其中包含2个下拉列表，2个文本框和一个按钮。用户将从下拉列表中选择项目，然后将数据输入文本框。这样做后，他们将单击一个按钮从这些控件获取信息，并填充一个“订单容器”。Gridview控件允许我插入多条记录吗？更新:下面是我更新网格视图的方式： Protected Sub imgAddOrderItemClick(ByVal sender As Object, ByVal e As System.Web.UI.ImageClickEvent

浏览 4提问于2013-02-27得票数 0

1回答

有没有办法在不使用R中RSelenium的情况下从“网站按钮点击”下载CSV文件？

html、r、web-scraping、data-import

链接是：出于某种原因，我可以阅读R中的页面的唯一方法是使用 url = "http://

浏览 6提问于2021-05-11得票数 0

点击加载更多