我如何抓取没有任何源代码的数据？

文章/答案/技术大牛

发布

2回答

python-3.x、web-scraping、beautifulsoup

links)for link in links: print(link) 我已经成功地通过使用此代码获得了链接列表但是当我想从他们的html页面的链接中抓取数据时，这些链接没有任何包含数据的源代码，为了提取它们，我的</em

浏览 27提问于2019-01-05得票数 2

1回答

但没有出现任何内容

google-sheets、google-workspace、html、importhtml

我正在尝试将以下网站加载到Google中：有人能帮助提供一个在谷歌文档中起作用的公式来完成这个任务吗？这个网站每天都是随机更新的，所以我想使用谷歌文档来帮助跟踪。谢谢,📷强文本

浏览 0提问于2019-08-19得票数 1

1回答

我经常光顾许多图书馆。布鲁克林公共图书馆、皇后区公共图书馆、纽约公共图书馆和纽约州立大学图书馆。当我想要一本书时，我必须到所有4个在线目录中去搜索它。相反，我想编写一个程序，它将图书、作者、ISBN或其他关键字作为字符串，然后返回4个搜索结果，就像我手动访问每个目录站点一样。我认为这将被认为是一个网络爬虫。我很擅长遵循编程教程，当我知道我在找什么的时候，我会用谷歌搜索一些东西。我真的不知道从哪里开始，希望能得到一些建议。在进阶时谢谢。

浏览 2提问于2011-09-28得票数 1

回答已采纳

1回答

如何让搜索引擎抓取动态加载的数据？

javascript、json、web-crawler

我面临着一个问题，在网站上，我们在标题上有导航标签，悬停下拉菜单出现，数据被填充并显示给用户。这些数据是动态生成的，因此不会出现在Page source上。经过研究后，google爬虫会抓取页面源代码中存在的任何内容。尽管他们不会抓取脚本标签。现在我的数据是JSON数据，它在脚本标记中，它出现在页面源代码中。此JSON数据用于

浏览 0提问于2014-01-07得票数 0

1回答

从Weedmap中抓取菜单数据

python、jquery、html、css、web-scraping

我目前正在尝试找到一种方法来从weedmaps.com上的药房中抓取菜单数据。然而，到目前为止，我还没有足够的运气来直观地了解网站在数据所在的位置是如何实际工作的，以便抓取数据。我真的只想做3件事。获取每个菌株的名称，获取数量，并获取每个数量的相关价格。但是，当我查看页面的源代码时，

浏览 4提问于2018-05-01得票数 0

1回答

如何使用Python从这个表中抓取数据？

python、html、web-scraping、data-mining

我想用Python脚本将表中的数据保存到Excel文件中，这也不是问题。然而，该网站的源代码并不包含任何我想要的价值。如果我使用Chrome插件"DataMiner"，它可以读出数值。我如何在Python中实现这一点？在图片中，显示了我想要抓取的数据。不幸的是，这些数据并<

浏览 6提问于2021-12-03得票数 0

2回答

调用Twitch时BeautifulSoup不返回html

python、web-scraping、twitch

我正在尝试为Twitch做一个网络抓取器，它将获得流的标题和流信息。我可以从其他网站中取出页面的特定部分，但当我放入一个流时，它看起来不像inspect元素中的html。它看起来就像一团乱麻。那么我该如何从中提取流标题呢？

浏览 20提问于2021-01-08得票数 0

1回答

用精美的汤从HTML中抓取表格

python、python-3.x、web-scraping、beautifulsoup

我正在尝试用python3从中抓取数据。该网站包含了基于冠军的FPS多人游戏“圣骑士”的玩家数据。我想要得到一个基于冠军的球员的统计数据，如网站所示。我面临的问题是，当我用Chrome检查页面源代码时，我得到了包含"table“标签的代码，它是干净的，我可以很容易地抓取</e

浏览 2提问于2018-06-26得票数 0

3回答

用Python对基于Javascript的网页进行屏幕抓取

python、screen-scraping、beautifulsoup、web-scraping

我正在用Python开发一个屏幕抓取工具。但是，当我浏览网页的源代码时，我注意到大多数数据都是通过Javascript获得的。谢谢

浏览 4提问于2011-11-18得票数 4

回答已采纳

1回答

Urllib2 urlopen html不完整

python、urllib2

我试图刮这个网站的使用urllib2和beautifulSoup。然而，我认为我从urllib2获得的html是不完整的。节点<span>之间的任何内容，如下面所示，都不是从urllib2读取的字符串的一部分。我怀疑这与xmlns有关，因为我从未见过有人将这个属性放在span上。

浏览 2提问于2013-11-21得票数 0

回答已采纳

1回答

在python中使用页面上的按钮

python、web-scraping

我正在抓取一些数据的页面，但是我需要在文本框中插入文本，提交表单并抓取结果页面。我看了页面源代码，但我不确定如何激活按钮或传递它的参数。网站是试图查看一些历史，但不知道用什么来做这个。对任何解决方案开放

浏览 1提问于2013-03-15得票数 1

回答已采纳

3回答

我需要从网站检索数据的想法

screen-scraping、external、web、sites

我被难住了，我需要一些关于如何做到这一点的想法，甚至是是否可以做到的想法。我有一个客户谁想要建立一个网站，为说英语的旅行者在一个特定的国家(在这种情况下，泰国)。这是我需要从以下网站获取信息的网站之一：客户端希望为用户提供搜索起点和终点位置的能力，并使用外部网站的信息来确定如何最好地到达那里，并为用户提供一条带有不同交通方式计划时间的路线。现在

浏览 0提问于2011-10-04得票数 0

1回答

如何代理密钥按下

x11、keyboard、input-method

如何构建一个位于键盘和应用程序之间的组件，该组件捕获所有按键并发出自己的按键信号。发出的信号与捕获的信号不一定是1比1。最终，我试图创建一个类似于ibus的输入方法(我也希望了解ibus在技术上如何工作)。在阅读这个问题之后，我认为捕获的适当位置应该是在生成密钥代码或键符号之后。我还理解X允许客户端抓取所有键盘事件，这听起来与我想要做的事情有关

浏览 0提问于2017-10-27得票数 5

回答已采纳

1回答

rails机械化搜索，没有javascript和单一数据查找

ruby-on-rails、web-scraping

我开始使用rails机械来抓取网站。有一个问题是，我需要获得简单的数据，而我找不到任何例子如何在这个真实的数据上获得它：另一个问题是在另一个网站上。这是右击受保护的网站。因此，在启用javas

浏览 6提问于2016-03-17得票数 1

回答已采纳

1回答

抓取数据uri图像

python、web-scraping、uri、scrape

我想从网页上抓取图像，问题是图像是作为数据URI包含在源代码中的。如何将它们保存到文件中？(我只需要从特定的抓取数据URI代码访问URI图像)

浏览 2提问于2013-06-26得票数 0

2回答

无法在英文中抓取数据，请帮助！

python、beautifulsoup

我有一个网站，我正在尝试使用Python和BeautifulSoup抓取。网站本身可以用两种语言(泰语或英语)查看；您所要做的就是点击屏幕右上角的泰语或英国国旗，数据就会以所选语言显示。然而，在脚本中，我只能抓取泰语(默认语言)的数据，我不知道如何获得英语的数据，因为当你点击泰语或英国国旗时，URL不会改变。查看页面的源代码，发

浏览 2提问于2011-06-08得票数 0

1回答

来自网站的Google Sheets IMPORTXML文本字段

xpath、web-scraping、google-sheets、google-sheets-formula、google-sheets-importxml

我正在尝试为符合凯利蓝皮书上特定标准的汽车动态拉取汽车价值。我有一个IMPORTXML查询，它有一个链接到显示汽车以旧换新价值的特定页面。false&hideMonthlyPayment=False&condition=verygood&mileage=40000", "//text[@y='-8']") 在此URL中，有一个y坐标为-8的文本字段我希望它足以识别我想要引入<e

浏览 21提问于2019-10-14得票数 1

回答已采纳

1回答

如何创建一个chrome扩展来从加密了代码的SAAS应用程序中抓取数据？

google-chrome-extension、web-scraping、screen-scraping

我想创建一个脚本，它将从SAAS CRM应用程序中的联系人记录中提取数据，并使其在我处于同一SAAS CRM应用程序的另一个屏幕中时可用。问题如下：当我将鼠标放在字段上时，我可以看到字段的底层参数，但当我在源代码中查找该参数时，我找不到相同的数据。联系人数据似乎被隐藏在源代码中。我不是在寻找大量的记录，我只是想更好地访问联系人

浏览 3提问于2013-02-12得票数 0

1回答

CDN上的.NET 4.5 System.Web.Optimization捆绑使用

asp.net-mvc、.net-4.5、cdn、minify、bundling-and-minification

我正在构建一个CDN，并在那里寻找一种利用.NET缩减/捆绑机制(System.Web.Optimization)的方法。问题是我如何从MVC控制器返回最小化的bundle。注意:我希望使用原生.NET 4.5功能，我不想要第三方解决方案。我只是在寻找在CDN端利用这一点的方法。而不是在客户端应用程序端。附加问题:如果可以做到上述情况，请解释如何利用缓存，这通常是通过在请求中添加唯一的查

浏览 0提问于2013-03-20得票数 0

回答已采纳

2回答

抓取使用javascript注入html的网站

node.js、web-scraping

我试图用Node.JS抓取一个网站，但当抓取html文件时，出现的东西是注入JavaScript的脚本标签，在查看有问题的JavaScript文件时，我似乎是正确的，因为我发现了我试图抓取的文本。在这个脚本被注入到html之后，我如何抓取文档？有什么办法吗？谢谢

浏览 22提问于2020-11-04得票数 0

回答已采纳

点击加载更多