将环网刮擦写入excel工作表
将环网刮擦写入Excel工作表是指将环网刮擦数据写入Microsoft Excel电子表格中。环网刮擦是一种数据采集技术，用于监测电力系统中的电流和电压波形。通过将环网刮擦数据写入Excel工作表，可以方便地进行数据分析、可视化和报告生成。
环网刮擦数据通常包括时间戳、电流值、电压值等信息。将这些数据写入Excel工作表可以帮助用户进行数据处理和分析。以下是一些相关概念、分类、优势、应用场景以及腾讯云相关产品和产品介绍链接地址的介绍：
- 概念：环网刮擦是一种电力系统监测技术，通过在电力系统中安装环网刮擦设备，可以实时采集电流和电压波形数据。
- 分类：环网刮擦可以根据采集方式分为有线环网刮擦和无线环网刮擦。有线环网刮擦通过有线连接将数据传输到数据采集设备，而无线环网刮擦则通过无线通信方式传输数据。
- 优势：
- 实时监测：环网刮擦可以实时采集电流和电压波形数据，帮助用户及时了解电力系统的运行状态。
- 高精度数据：环网刮擦设备采用高精度传感器，可以提供准确的电流和电压数据。
- 数据可视化：将环网刮擦数据写入Excel工作表后，可以使用Excel的图表功能进行数据可视化，更直观地展示数据趋势和变化。
- 数据分析：通过Excel的数据处理功能，可以对环网刮擦数据进行统计分析、趋势预测等，帮助用户做出决策。
- 应用场景：
- 电力系统监测：环网刮擦可以用于电力系统的监测和故障诊断，帮助提高电力系统的可靠性和稳定性。
- 能源管理：通过监测电力系统中的电流和电压波形，可以对能源的使用情况进行分析和优化，实现节能减排。
- 电力质量分析：环网刮擦数据可以用于电力质量分析，帮助用户了解电力系统中的谐波、闪变等问题。
- 腾讯云相关产品和产品介绍链接地址：
- 腾讯云物联网平台：提供物联网设备接入、数据采集、设备管理等功能，可用于环网刮擦数据的接入和管理。详细信息请参考：https://cloud.tencent.com/product/iotexplorer
- 腾讯云大数据平台：提供数据存储、数据处理、数据分析等功能，可用于环网刮擦数据的存储和分析。详细信息请参考：https://cloud.tencent.com/product/emr
- 腾讯云人工智能平台：提供人工智能算法和工具，可用于环网刮擦数据的智能分析和预测。详细信息请参考：https://cloud.tencent.com/product/ai
通过将环网刮擦数据写入Excel工作表，可以方便地进行数据分析和可视化，帮助用户更好地理解和利用环网刮擦数据。
相关·内容
我的公司将从Excel转变为Libre Office Calc。我已经建立了一个Excel宏集合(特别是屏幕刮擦宏)。我的宏在没有变化的情况下工作吗？任何其他已经做出改变的人，你是如何顺利地做出改变的？
浏览 19提问于2017-05-05得票数 2
回答已采纳
我使用Python tabula从pdf中获取记录，并保存到excel。我只希望第一个表是，刮擦，而不是其他表，因此保存到excel。
我现在的代码是：
from tabula import convert_into
convert_into("Input.pdf", "Output.csv", pages = "all")
但所有的桌子都是。有人能帮我得到想要的结果吗。谢谢!
浏览 4提问于2020-08-10得票数 0
2回答
这是我的刮擦：
from bs4 import BeautifulSoup
import requests
url = 'http://www.baseballpress.com/lineups'
soup = BeautifulSoup(requests.get(url).text, 'html.parser')
for names in soup.find_all(class_="players"):
print(names.text)
我想使用xlwt将我的抓取导入到excel中。我使用下面的代码来看看我是否可以用pytho
浏览 2提问于2018-08-13得票数 0
回答已采纳
1回答
我已经建立了一个蜘蛛，它刮一个特定的网站，它的工作很好，我用刮刮它。蜘蛛通过遵循“下一页”分页链接，刮掉了我想要刮掉的430个网页。问题是站点/刮刀器也指向第431页，该页是空的。诸若此类。因此，刮刀不会停止刮擦！
有谁能帮我在刮掉所有430页相关的网页后，停止刮网？最后一个相关页面中的html代码是：
我的代码是：
next_page = response.xpath('//a[@id="nextWebshopsPage"]').attrib['href']
if next_page is not None:
yi
浏览 4提问于2021-02-02得票数 1
回答已采纳
我想为特定的目标绘制刮擦时间图。
Prometheus web界面有一个目标页面的状态，它列出了(自)“最后一次刮擦”到相应的“刮刮持续时间”的时间。Prometheus本身是否发布诸如刮擦计数和累积持续时间等指标，还是将刮擦持续时间记录在其他地方？
浏览 0提问于2021-11-10得票数 2
回答已采纳
4回答
熊猫出类拔萃
、、、
我试图保存到一个excel文件从熊猫数据。在一些抓取数据的方法之后，我最终得到了最终的方法，在这里，我将数据生成到一个excel文件中。问题是，我希望sheet_name成为我所做的每一次刮擦的输入变量。但是使用下面的代码，我得到了错误：
ValueError:没有文件类型的引擎：“”
def datacollection(self,filename):
tbl= self.find_element_by_xpath("/html/body/form/div[3]/div[2]/div[3]/div[3]/div[1]/table").get_attribute(&#
浏览 20提问于2022-03-13得票数 0
1回答
我想刮擦并从嵌套的URL链接中解析表，并创建pandas数据框并将其导出。我想出了怎么刮擦如果页面有一个表，则从HTML页面中删除表，但现在我需要刮擦和解析表从子链接，这是在母链接，我想我需要循环通过所有的子链接来解析它的表，我感兴趣的。我想知道有没有什么有效的方法来做这件BeautifulSoup。有谁能告诉我怎么做到这一点吗？ 我的尝试 这是我目前的尝试刮擦并从HTML页面解析单个表，但我不知道如何从嵌套的HTML页面中抓取和解析具有唯一表名的表，并在最后创建一个pandas数据帧。 def scrape_table(url):
response = requests.get(u
浏览 33提问于2020-07-28得票数 1
回答已采纳
2回答
所以我对刮擦和努力学习刮擦非常陌生。我在网上看到的大多数教程都是使用Anaconda进行刮伤项目的。我只想知道有没有可能在没有Anaconda的情况下使用刮伤。
浏览 3提问于2019-10-24得票数 0
回答已采纳
1回答
我想知道是否有一种方法来限制工作提交取决于提交的地点提交的HPC。
问题是，最近增加了一个刮擦磁盘的存储。所以现在我有两个分区。
主目录
划痕目录
我希望所有的HPC用户被迫提交他们的工作只在刮擦目录，而不是在主目录。
HPC正在为作业调度程序运行LSF。因此，我是否可以通过LSF来控制作业提交(即bsub)，以便只有在scratch目录下提交的作业在HPC中运行？
提前谢谢。
浏览 1提问于2018-10-30得票数 0
回答已采纳
1回答
新项目
、
我对刮擦很陌生。我在创建新项目时发现了错误。
所以请告诉我如何创建新的项目在刮刮。我试着做以下工作-
scrapy start project
浏览 4提问于2016-10-04得票数 0
回答已采纳
2回答
因此，Scrapinghub正在为Scrapy质量保险发布一项新功能。该公司表示，它具有历史比较功能，可以检测当前刮擦数量是否仅低于前一次刮擦数量的50%，这是可疑的。但是，我如何应用它呢？
浏览 33提问于2019-03-18得票数 1
3回答
硒加速刮网
、、、
我是使用selenium进行网络抓取的新手，我正在刮seetickets.us，刮刀的工作如下所示。
登录
搜索事件
单击每个事件
刮擦数据
回来
点击下一个事件
重复
现在的问题是有些事件不包含一些元素，比如这个事件：
它不包含价格表，但这个包含了。
所以我用了试，除了块
try:
find element
except:
return none
但是，如果它没有在try中找到元素，则需要5秒才能找到，除非我使用了
webdriver.implicitwait(5)
现在，如果任何页面都不包含多个元素，则selenium需要很长时间才能擦除
浏览 11提问于2022-07-17得票数 2
回答已采纳
1回答
目前，有一个设置的网页，我使用python刮。我使用scrapy_splash来呈现javascript。
我想把这个刮擦任务移到云上，这样它就可以运行24x7，并定期按计划进行刮擦。
做这件事最简单的方法是什么？寻找的选择是免费的或几美元一个月。谢谢
浏览 14提问于2022-01-23得票数 1
1回答
在运行刮擦蜘蛛时，我看到日志消息有" DEBUG：“，其中包含1.DEBUG： (200) (GET ) (引用: None) 2.调试:从(200 )中刮擦
我想知道，1.对那些“爬行”和“刮自”意味着什么? 2.从哪里返回上述两个超低硫(即，当刮页，哪个变量/参数保存了这些URL)
浏览 3提问于2015-06-11得票数 0
回答已采纳
3回答
我正在努力从纳斯达克刮数据表：
我所做的就是使用python和selenium来单击表按钮(在图表的顶部，有一个小小的表徽标)，然后刮擦。
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#dataTableBtn')))
submit.click()
但不起作用。
按钮html在这里：
<div id="dataTableBtn" class="btn hideSmallIR stx-collapsible" onclick="dataTableL
浏览 1提问于2019-08-07得票数 3
回答已采纳
我有一个应用程序，可以进行屏幕刮擦和窗口刮擦，这两个程序在应用程序中都运行得很好，后来我决定将屏幕刮擦和窗口刮擦都移到属于该应用程序的XPC服务中，显示刮擦工作正常，但窗口刮伤故障：
我的第一个尝试是，主机应用程序将CGWindowID传递给XPC，在XPC中，我使用CGWindowListCreateImage和CGWindowListCreateImageFromArray，它们都返回null。
然后，我尝试将窗口的pid传递给主机，在XPC中，我使用CGWindowListCopyWindowInfo枚举CGWindowID以匹配pid，以查找XPC服务进程中的相关CGWindowID，
浏览 20提问于2022-05-27得票数 0
1回答
如何用R刮表类名？
、、、、
我打算刮几个网页，特别是网页中的一些表格。
但问题是表格的位置随着每一页的变化而变化。
这是我的密码。
url <- paste0("https://en.wikipedia.org/wiki/2011%E2%80%9312_Welsh_Premier_League")
webpage <- read_html(url)
j<-webpage%>% html_node(xpath='//*[@id="mw-content-text"]/div[1]/table') %>%html_table(fill=T)
这段代码
浏览 2提问于2022-05-25得票数 1
回答已采纳
3回答
我试图在动态生成的网页之后进行抓取，我使用了请求、刮擦、刮擦-飞溅，但我只是得到页面源代码，而我没有得到任何工作列表。
import requests
from bs4 import BeautifulSoup`
r = requests.get("https://www.governmentjobs.com/careers/capecoral?page=1")
soup = BeautifulSoup(r.content)
n_jobs = soup.select("#number-found-items")[0].text.strip()
print(n_j
浏览 11提问于2022-03-01得票数 -1
1回答
我想从下面的url 中抓取每日观察表
我想用表号来刮擦。我正在使用这个代码
from bs4 import BeautifulSoup
import requests
import lxml
url = 'https://www.wunderground.com/history/daily/in/chennai/VOMM/date/2017-1-1';
content = requests.get(url).content
soup = BeautifulSoup(content, 'lxml')
table = soup.find('table
浏览 0提问于2018-12-08得票数 0
回答已采纳
我正在使用JSON抓取一个90K的记录数据库，并尝试进行一些基本的错误检查。首先，我希望使用两个不同的设置两次刮取数据库，并在第二个刮擦中添加一个前缀。通过这种方式，我可以检查以确保这两个设置不会产生不同的记录(由于删除更新，等等)。我希望使用一个视图来实现比较，该视图将第一次刮擦中的每个文档与第二次刮擦生成的文档的孪生文档进行比较，然后发出记录的名称，并在它们之间存在差异。
但是，我不太清楚如何在视图中插入另一个文档，我所阅读的所有内容都是使用emit()函数来讨论外部文档的，这太晚了，我无法对其进行比较。在下面的示例中，lookup()函数将获取引用的文档。
难道这不可能吗？
functi
浏览 3提问于2014-02-08得票数 1
回答已采纳
1回答
难刮web表-多个嵌套类
、、、
我试图从一个网站刮表，但不确定是否能够正确地引用适当的类。我附上截图和从BeautifulSoup提取的身体。我是不是看错了，请原谅，我对网络刮擦很陌生。
我需要提取圆圈高亮部分中存在的表格，但是不确定如何在那里遍历。
浏览 6提问于2022-08-23得票数 0
回答已采纳
2回答
全刮还是增量刮--人们用什么？
、、、、
我有一个关于从网站上抓取内容的问题。让我们想象一下，在这个例子中，我们讨论的是分类样式网站上的内容，比如Amazon或Ebay。有关此内容的重要注意事项是，它可以更改，并且可以删除。
在我看来我有两个选择：
每天都有新鲜的刮擦。我从一个空白的数据库模式开始一天，每天完全重新整理每个站点，并将内容插入到新的数据库中。
一种渐进式的抓取，从昨天刮掉的内容开始，当撤销站点时，我做以下操作：
检查现有的URL内容是否仍然在线，是否相同-数据库内容不可用-从DB内容删除是不同的-恢复内容
我的问题是，增加的复杂性是否值得这样做，这样做有什么好处吗？我真的很喜欢每天做一次新的刮擦，
浏览 1提问于2013-04-22得票数 1
回答已采纳
我使用Python创建了一个包含刮擦函数的文件。我想从另一个文件中导入这个刮擦文件并使用它，我应该怎么做？
scrap.py
def scraper(url):
list = []
...
return list
def filter(list):
...
return list
def controller(list):
return filter(scraper(url))
another.py
import scrap
#scrap.controller('www...')
我应该更改scrap.py中的代码吗？如果是，该如何改变呢？
浏览 2提问于2022-07-18得票数 0
1回答
从网上抓取表格并在gui中显示。
、、、、
我想从一个网站刮一个表，然后在用python创建的gui中显示被刮过的表。表(和网站)是html格式。你怎么做到的？如果可能的话，我想在以后以完全相同的方式在gui中显示表。“假想的话，我就可以拍张桌子的截图，然后在桂林里展示这张照片了。”
Ps:我想使用刮擦，但我想，在这种情况下，我必须从头开始在我的gui构建表以后？
谢谢你的想法！
浏览 5提问于2015-05-28得票数 0
回答已采纳
下面是一个例子:刮擦间隔设置为30。下面的时间序列由app在一个刮擦周期中生成：
名称: Counter_1，值: 2，时间戳1590285009
名称: Counter_1，值: 4，时间戳1590285019 (第一个时间戳后10秒)
名称: Counter_1，值: 0，时间戳1590285029 (第二个时间戳后10秒)
在这种情况下，什么时间序列被擦伤了？这三个都是，还是把时间戳设为刮擦时间戳的最新一个？
浏览 7提问于2020-05-24得票数 1
1回答
列的类型在串接刮取数据时更改
、、、、
我遇到了一些麻烦，在网上找不到任何答案(这是非常罕见的！)
我正在做一些网络抓取(气象数据)的每日粒度按城市。当我刮1天的时候，“city”列被认为是字符串，但是当我像2天一样在超过1天的时间里刮擦时，“city”列不再是字符串了，当1天的刮擦在2天的刮擦中不再起作用时，它的代码也就不再起作用了。
下面是我的代码，用于刮除
url_template = 'https://www.wetterkontor.de/de/wetter/deutschland/extremwerte.asp?id={}'
def get_weather(date):
url = url_templ
浏览 2提问于2020-07-13得票数 0
大家好，新年快乐。
我是新刮刮，并希望使用attrib方法，以充分了解它。我用来刮擦。当我运行response.css(".quote span").attrib["itemprop"]时，它给出和错误一样的SelectorList对象没有属性"attrib"，即使有这样的方法。如何写它才能使它工作，为什么它不是这样工作呢？
浏览 6提问于2020-12-28得票数 0
回答已采纳
1回答
如何将工作表添加到另一个工作簿中
、、、、
下面是excel "db“和excel”刮“。
我想实现这样的目标，在excel "db“中添加”废纸“，即在同一个excel中添加四个工作表(废钢、ai、bd和eb)。
浏览 3提问于2020-11-15得票数 1
回答已采纳
使用excel vba，我需要刮擦日期(2019-01-16)。这段代码很好用：
Set wyjatek = ie.Document.getElementsByClassName("redesignTravelHistory tank-thlist__date 2019-01-16")(0)
但问题是，在我尝试的每个html中，这个日期可能是不同的。你知道怎么解决吗？
html的一部分：
<div class="redesignTravelHistory tank-thlist__date 2019-01-16">16/01/2019</div
浏览 0提问于2019-01-23得票数 0
回答已采纳
1回答
我刚刚开始使用luigi库。我经常刮一个网站和插入任何新的记录到一个Postgres数据库。当我试图重写部分脚本以使用luigi时，我不清楚应该如何使用。
工作流
刮擦数据
查询DB以检查新数据是否与旧数据不同。
如果是，则将新数据存储在同一个表中。
但是，使用luigi的postgres.CopyToTable，如果表已经存在，则不会插入新的数据。我想我应该使用table_updates表中的table_updates列来确定应该插入哪些新的数据，但我不清楚这个过程是什么样子的，我无法在网上找到任何明确的示例。
浏览 1提问于2016-11-20得票数 4
回答已采纳
1回答
用硒擦伤
、、
我正试图从网站中抓取所有录制的事件表。我使用的是刮擦蜘蛛，但是由于它是动态加载的，所以不可能得到该表。我试图使用selenium，但是没有结果，没有加载表，我得到了相同的静态html页面。任何帮助都将不胜感激。
浏览 1提问于2017-10-25得票数 0
回答已采纳
1回答
Python & Coding在这里(学习了3天)，所以请对我轻松一点！
我有一个脚本来抓取网站，并希望将提取的数据放在.csv工作表中的两个单独的列中。
刮擦脚本运行良好，并给出了日期列表；我现在希望将该列表放在.csv工作表中的两个单独列中，但是，我所做的脚本只是将两个列表放到一个列中
我不只是想复制这个列，因为以后(当我计算出我想要实现的目标时)它将是一个单独的列表，所以它将是两个单独的列，具有唯一的数据
提前谢谢你！
import urllib
import urllib.request
from bs4 import BeautifulSoup
import pandas
浏览 2提问于2017-07-26得票数 1
回答已采纳
我对python很陌生，我正在尝试从一个有多个页面的网站上刮表。我应该如何使我的代码使用.click()，以及应该将代码放在哪里以获得表的动态刮擦。
我正在尝试的网站是，我能够从第一页获得表格。我正试着把所有的页面放到一个熊猫数据框架中。我已经将表中的信息放入字典中，并试图将该数据集放入一个dataframe。但是，只有第一页才能被插入到dataframe中。我也需要其他页面的所有数据
浏览 1提问于2019-08-11得票数 0
回答已采纳
1回答
Rselenium刮削
、、、
我是刚开始刮擦的。我正在尝试刮，即出现在站点中的表，并将其转换为dataframe，但我似乎必须执行一个脚本。我正在使用Rselenium方法。也许Jsonlite更好，但我不知道怎么做。
# Running without problem
require(RSelenium)
rD <- rsDriver()
remDr <- rD[["client"]]
url <- "https://www.rad.cvm.gov.br/ENETCONSULTA/frmGerenciaPaginaFRE.aspx?NumeroSequencialDocument
浏览 3提问于2017-06-08得票数 0
回答已采纳
我想创建一个小小的刮刮游戏。问题是，我想不出如何在android中擦除图像中的像素(就像gimp /photoshop中的橡皮擦一样)。
图像是具有alpha通道的.png。
浏览 0提问于2012-03-07得票数 0
我一直在学习一些粗糙的教程，我有一个问题(我对这个问题非常陌生，所以如果这是个愚蠢的问题，我很抱歉)。到目前为止，我所看到的大部分内容都涉及到：
( 1)为刮伤喂食起始url。
2)告诉抓取页面中的哪些部分
3)告诉刮刮者如何找到要刮的“下一页”
我想知道的是，当数据本身不在起始页面时，我是否能够使用scrapy刮取数据？例如，我有一个链接，去一个论坛。该论坛包含几个子论坛的链接。每个子论坛都有几个线程的链接。每个线程包含多个消息(可能在多个页面上)。这些信息是我最终想要刮的。是否有可能这样做，并只使用最初的链接到论坛？刮刮是否有可能浏览每一个子论坛，每一个线程，然后开始刮擦？
浏览 0提问于2018-10-18得票数 0
回答已采纳
我试图让我的爬虫爬到下一页，所以我写了这个函数：
def requestURL(self, hrefPath):
print(hrefPath)
url = "http://www.presseportal.de/" + hrefPath
yield scrapy.Request(url, callback=self.parse)
它甚至没有打印变量hrefPath，所以我怀疑函数没有被调用，尽管我非常肯定我正确地调用了它：self.requestURL(hrefPath)
我对刮擦很陌生，所以如果这个问题看起来很愚蠢，
浏览 1提问于2016-11-17得票数 0
回答已采纳
对于我的自定义内容类型，我有一个自定义tpl.php。作为其内容的一部分，它还需要显示一个(动态)值。动态内容实际上是从我们的另一个网站上刮来的。
我关心的是，是否在tpl.php中有刮板逻辑。我的理解是，tpl.php的目的是处理视图部分。
让我的tpl.php包含刮擦的逻辑(不仅仅是刮擦)的缺点是什么？基本上除了渲染什么都行吗？
浏览 0提问于2015-08-28得票数 1
下面的链接有我想要刮的表。我曾经尝试过，但它有一个奇怪的格式，我不确定他们是否在防止人们刮擦。
这就是我试过的
req_url = "https://fantasy.espn.com/basketball/players/add?leagueId=133998"
req = requests.get(req_url)
soup = BeautifulSoup(req.content, 'html.parser')
table = soup.find('table', {'id':'fitt-analytics'})
浏览 3提问于2020-12-08得票数 1
回答已采纳
我正在做一个小的刮擦脚本，只为学习和个人目的(非营利)。我有一个问题，不是抓取，而是连接(我认为，，但我访问该网站没有问题。我没有收到任何糟糕的请求错误，)。我注意到，刮擦有时是正确的，有时则是无效的。在2次刮擦中，只开始1次。然而，现在，它并没有“半途而废”(50%是，50%不是)。在5-6-7的尝试中，B系列被正确地刮了1次.
代码说明：代码通过火狐作为代理连接到Tor。然后用2 "for“循环(A系列和B系列)开始2种不同的刮擦。其目的是简单地刮取这两个for循环的名称。
问题：我没有犯任何错误，但是乙级的刮擦感觉像是被忽视了。只有A系列被刮过，没有B系列(但它们有相同的刮擦代码
浏览 1提问于2021-10-28得票数 1
回答已采纳
1回答
我计划让守护进程CrawlWorker (子类multiprocessing.Process)监视队列中的刮取请求。
该工作人员的职责是从队列中获取刮掉的请求，并将它们提供给蜘蛛。为了避免实现批处理逻辑(比如在创建新蜘蛛之前等待N个请求)，是否有必要让我的所有蜘蛛都活着，然后在每个蜘蛛空闲时向它们添加更多的刮擦请求，如果没有更多的刮擦请求，就让它们保持打开吗？
实现这一点的最好、最简单和最优雅的方法是什么？考虑到start_urls的属性，蜘蛛似乎要用初始工作列表实例化，做它的工作，然后死掉。
我正在考虑听spider_closed，但我是否可以提出一个例外来保持它的开放呢？
浏览 1提问于2015-01-11得票数 1
1回答
我正在工作时刮这一页，是在登录后，但我会尽量解释一下情况。
我得到了一个页面，我想得到在随机时间过去后出现的数字(取决于我们服务器、计算机等的统计数据)直到IE.readystat <> 4才开始刮擦，但是这些数字直到稍晚一点才会出现。
Sent = ie.document.getElementsByTagName("span")(25).innertext
Sheet4.Range("D" & i).Value = Sent
我得到的三件事是：
1运行时错误: 91
2文本“加载.”
3 12 403(我要找的号码)
我想知道有没有人知道我
浏览 5提问于2014-12-22得票数 2
回答已采纳
4回答
嗨，我是刚开始刮刮的，我正试着从阿里巴巴的 页面上抓取分类和分类网址。我试图刮它，并把它放在一个CSV文件。
以下是我在电子表格中打开它时要给出的视图：-
categories categories_urls
Agricultural Growing Media its URL
Animal Products its URL
. .
. .
浏览 0提问于2018-08-31得票数 0
回答已采纳
2回答
我刚刚得到了刮擦的设置和运行，这是很好的工作，但我有两个(菜鸟)问题。首先，我应该说，我对刮擦和蜘蛛网站完全陌生。
你能限制爬行的链接数量吗？我有一个网站，不使用分页，只是列出了很多链接(我爬行)在他们的主页。当我真的需要爬行前10个左右的时候，我感觉很糟糕爬行所有这些链接。如何同时运行多个蜘蛛？现在，我使用的是命令scrapy crawl example.com，但我还为example2.com和example3.com提供了蜘蛛。我想用一个命令来运行我所有的蜘蛛。这有可能吗？
浏览 2提问于2010-11-24得票数 6
我有一个刮擦代码，它可以抓取一个网站并写到MySQL
import MySQLdb.cursors
def __init__(self,stats):
self.dbpool = adbapi.ConnectionPool(<dbnam>,host=<host>,user=<user>,port=<port>,passwd=<pwd>, db=<dbname>, cursorclass=MySQLdb.cursors.DictCursor, charset='utf8', use_unicode=
浏览 2提问于2016-03-12得票数 1
回答已采纳
我想搜集一下财务报告的历史数据。但我不知道该怎么做。
我试着搜索历史价值，但结果却是空的。
我想从所有的报告中提取出来，所以为了这个例子，如果有人能帮我从这个地址上刮擦，我会非常感激的。
我将手动更改地址到不同的报告，我需要。我只想做一个excel表格，将跟进所有这些报告。
谢谢!
浏览 11提问于2022-09-27得票数 0
回答已采纳
1回答
一个人是否有可能使用刮擦从一个灯箱中刮出文字？因此，问题处理的是使用CasperJS刮光盒。我在想，用Scrapy是否也能做到同样的事情？
浏览 2提问于2015-01-05得票数 0
回答已采纳
我使用刮除外壳来提取以下网页的数据：
大多数数据都正常工作，但在较低的部分中有一个表，其中的内容(如PZN )。我似乎无法提取。
scrapy shell
fetch('https://www.apo-in.de/product/acc-akut-600-brausetabletten.24170.html')
>>> response.xpath('//*[@id="accordionContent5e95408f73b10"]/div/table/tbody/tr[1]/td/text()').extract()
返回：[
浏览 4提问于2020-04-14得票数 0
回答已采纳
2回答
我使用量角器作为刮擦工具(如)，但今天，我的代码已经更改为无法工作。
我花了很长时间去找原因，发现“it”语句之外的任何代码都不起作用。
describe( 'Start Scraping', function () {
// Use Protractor with the site which doesn't use AngularJS
browser.ignoreSynchronization = true;
/*
* Fail because not inside of 'it' sentence
*/
browse
浏览 2提问于2014-10-31得票数 1
回答已采纳
1回答
刮擦壳返回空列表
、、、
我试着使用刮擦外壳从这个站点中抓取，但是它总是返回空列表或什么都不返回。我尝试过使用：response.css('').get()和response.xpath('').extract()与SelectotGadjet或源代码，但我只是不能刮任何东西。我这个网站不能刮，否则我做错了什么，我是一个新手在网络刮刮。
浏览 9提问于2022-08-05得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
