将计算结果保存到变量-噩梦网络抓取

文章/答案/技术大牛

发布

1回答

javascript、node.js、web、screen-scraping、nightmare

我想将这个链接存储在一个变量中，以便以后使用。

浏览 11提问于2020-08-07得票数 0

1回答

当使用"Map local“时，文件大小有限制吗？

http、debugging、proxy、reverse-proxy、charles-proxy

当我在Charles中使用"Map local“时，我无法看到所有的代码。由于某些原因，该文件仅显示8000个字符...

浏览 9提问于2017-07-07得票数 0

1回答

是否可以将` `calc()`的结果赋给sass/scss变量？

sass

我尝试将calc()的结果赋给一个scss变量，如下所示：$max-canvas-square-size: calc(100vh - #{$header-height$max-canvas-square-size的计算结果为0px。是否不允许将calc()的结果保存到变量中？

浏览 13提问于2019-08-06得票数 1

回答已采纳

1回答

如何检测URL列表中的重复值并停止迭代？

javascript、node.js、web-scraping、puppeteer

我正在尝试使用puppeteer & cron抓取一个网站。它工作得很好，除了我不知道如何停止程序执行，如果检测到重复的url？grab all data // save it to the file 虽然这段代码运行良好，但当我在scheduler/cron上运行这段脚本时，我想以某种方式检测来自源站点的<a>标记是否已经被抓取，并在每次运行cron函数时停止代码再次抓取旧链接并将重复数据保存到字段中。

浏览 19提问于2020-12-11得票数 0

回答已采纳

1回答

Docker为同一服务提供不同的环境变量

docker、docker-compose

我目前正在用python构建一个网络爬行器。但是为了访问特定的页面，我需要一个API密钥，而这个密钥在请求方面受到严重的限制。因此，我的想法是创建python脚本并将API密钥设置为每个容器的环境变量。这样，我可以抓取更大的吞吐量。现在，我的问题是：我知道您可以通过docker-compose.yml设置环境变量，但这样做并不会使该文件可通过git上的公共存储库共享。有没有更好的方法来为每个容器设置环境变量，而不是通过组成文件？我正在考虑使用.env文件，但这使得它在python脚本中成为一个噩

浏览 9提问于2020-10-07得票数 0

回答已采纳

2回答

通过幻影和casperjs将刮过的数据保存到mysql数据库

web-scraping、phantomjs、casperjs

嗨，我正在开发一个网络刮刀，首先我试图使用php CURL进行抓取，但后来我遇到了一个问题，就是我无法刮掉通过AJAX加载的站点，然后我转到了‘幻影JS’和'casper‘。现在我已经成功地安装了webkit，可以从任何网站刮取数据，但是我无法将数据保存到数据库中以供长期使用。简单地说，供以后使用。我想要做的是，不管我刮了什么数据，我都想把它保存到mySql数据库中。我尝试过发送Ajax请求将数据发送到数据库，但失败了。例如，我想出了另一个解决方案，即当我从指定的网站

浏览 1提问于2018-04-02得票数 0

回答已采纳

1回答

HTML性能-加载(文件)与LoadHTML (流)

performance、html-agility-pack

多亏了这个网站上许多人的帮助，我现在可以在屏幕上抓取项目代码并进入测试模式。处理html请求似乎需要相当多的时间。因此，现在我将原始html流放入一个字符串变量中，并使用LoadHTML()方法将该变量传递给屏幕抓取处理代码。我的问题是，是这样做更快，还是将html流保存到文件中，然后解析文件更快？

浏览 0提问于2011-01-07得票数 1

回答已采纳

1回答

MYSQL连接大字符串

mysql、database

我有一个网络爬虫，它在抓取网络时将信息保存到数据库中。在执行此操作时，它还会将其操作及其遇到的任何错误的日志文件保存到mysql数据库的日志字段中(字段将变为64kb到100kb之间的任意位置。我已经注意到，web爬行的执行速度比我实现将日志保存到数据库之前要慢。我从一个管理网页上查看了这个日志文件，除了加载速度慢之外，当前的实现似乎工作得很好。有没有什么加速的建议，或者实现的建议？

浏览 3提问于2012-07-18得票数 1

回答已采纳

1回答

将词典写成CSV

python、csv、web-scraping、beautifulsoup

我正在做一个网络抓取项目，我试图将结果保存到一个CSV文件中， 'address_area': area, writer = csv.writer(f) writer.writerow([value]) 我希望将字典中的键保存为列，将值

浏览 6提问于2022-04-09得票数 0

回答已采纳

1回答

如何用python pytest精确编写selenium测试函数

python、selenium、pytest

我是selenium，python，pytest的新手。我需要一些建议，我可以如何写一个测试功能标准与充分的信息，并建议我最好的方式编写测试用例。请提供专业的方法来编写函数。

浏览 1提问于2022-04-13得票数 -2

2回答

如何将.XML文件保存在内存中，然后将文档作为常规XML文件保存到光盘？

c#、xml、xml-serialization、screen-scraping

我打算做一些网络抓取，我的计划是这样的：{ { { }有没有一种方法可以将.XML文件及其内容和所有内容保存在内存中，然后将文档作为常规XML文件保存到光盘上？

浏览 4提问于2010-04-12得票数 0

回答已采纳

2回答

php in_array给出了奇怪的结果

php、arrays

当用户登录时，就会从db抓取数据，其中一个字段是他们的“级别”。1是管理员，2是常规用户，等等。一旦从db抓取数据，我们将用户级别(存储为a:1:0；s:1:1：“2”)放入数组：$_SESSION['unt']['user_level'] = $user_level;error_log(print_r($_SESSION[&

浏览 2提问于2013-10-14得票数 1

回答已采纳

3回答

使用RxJava管理相同的请求

android、reactive-programming、rx-java

假设我有一个从单独线程上的给定链接获取图像的抓取器。然后，图像将被缓存到内存中。一旦图像已经被缓存，抓取器就不会重新获取链接。fetcher被认为是一个可观察的对象。可能有许多订阅者向抓取器请求图像。在第一个用户订阅fetcher之后，fetcher将拍摄网络。然而，如果有第二个订阅者来订阅，那么当抓取器之前已经在抓取一个请求时，它不应该再发出另一个请求。现在，如果有第三个订阅者来了，抓取器将立即发出图像。如何使用

浏览 1提问于2015-04-17得票数 0

3回答

如何在Python中一次保存多个数据

python、saving-data

我希望能够将所有相关变量保存到某个外部文件中，这样我以后就可以对它们进行修改，而不必再次运行长达一小时的计算。有没有一种简单的方法可以将我需要的所有变量保存到一个方便的文件中？在Matlab中，我只需将所有计算结果包含在一个单一的结构中，以便以后只加载results.mat，并将所需的一切存储为results.output1、results.output2或其他任何东西。

浏览 3提问于2020-06-12得票数 0

回答已采纳

1回答

当我使用job glue时，亚马逊S3中的数据是否会出现在公共互联网上？

amazon-web-services、amazon-s3、aws-glue

我正在使用亚马逊网络服务创建一条数据传输线，我的数据存储在亚马逊S3存储桶中，我计划使用胶水爬虫在前缀下抓取数据以提取元数据，并在胶水作业之后执行ETL并将数据保存到另一个存储桶中。我的问题是:这些服务在哪个网络中工作并相互通信？有没有可能通过公共互联网将数据从亚马逊S3移动到胶水？是否有任何指向aws文档的链接，用于解释AWS服务在它们之间传输数据时使用哪些网络？

浏览 18提问于2021-06-29得票数 1

1回答

使用两个选定的组合框项目计算文本框

c#、wpf、dynamic、combobox

我的问题:我希望在选择两个组合框变量后，将这两个变量相除，并将文本框设置为计算结果。选择两个int值后，计算结果应出现在BMI文本框中，但它仍然为空。看起来ToString()方法没有保存到a中，也没有保存到b..therefore中，值不能在fillTextBox方法中使用如果有人能回答我一个带有一些附注的代码，以便我理解，那就太好了。

浏览 2提问于2015-12-12得票数 0

1回答

将错误的图片加载到iphone中

iphone、imageview

我正在从网络服务中抓取我的图像，并将其粘贴到我的应用程序中。webservice将图像保存为img.jpg。我想换一张不同的图片，所以我又买了一张，并将同一地点的图片保存到img.jpg中。cancelLoadingURL:logoView.imageURL]; logourl填充了正确的url，但它没有抓取新的图像

浏览 0提问于2012-07-18得票数 0

回答已采纳

1回答

d3.csv.parse仅解析csv字符串的第一行

javascript、parsing、csv、d3.js

0.256459661,Group 0,0.066308001-7,0.776456119,Group 4,0.481110901 当我抓取文本框中的val()时，它只能将csv字符串的第一行保存到javascript中的变量中，然后就会出错。如何将整个csv字符串保存到一个变量中，以便发送到d3.csv.parse？

浏览 0提问于2013-12-10得票数 0

1回答

php在if语句中使用方括号

php、brackets、strpos

我正在从一个url抓取内容并将其保存到一个运行良好的变量中。我尝试使用下面的代码检查(是否存在于变量中 // do function here但问题是php似乎将)作为(在$name之前)的结束标记有人知道我怎么解决这个问题吗？

浏览 0提问于2015-03-10得票数 0

1回答

选择全部并使用Selenium提取

selenium、web-scraping

我正在抓取一个网站。屏幕上的可视文本是从数据库生成的，在inspect元素或页面源代码中找不到它。我试着手动点击控件A和控件C，它工作得很好。有没有办法使用Selenium点击控件A，然后将选中的文本保存到一个变量中？

浏览 7提问于2021-06-22得票数 0

点击加载更多