由于Tornado错误“打开的文件太多”，Dask失败。
这个问题通常是由于操作系统的文件描述符限制引起的。文件描述符是操作系统用于跟踪打开文件的标识符，当打开的文件数量超过操作系统的限制时，就会出现这个错误。
为了解决这个问题，可以采取以下几个步骤：
- 增加文件描述符限制：可以通过修改操作系统的文件描述符限制来解决该问题。具体的操作方式因操作系统而异，可以参考操作系统的文档或者搜索相关的教程。
- 优化代码：检查代码中是否存在资源未正确释放的情况，例如文件、数据库连接等。确保在使用完毕后及时关闭和释放资源，避免过多的文件打开。
- 调整Dask的配置：Dask是一个基于Python的并行计算框架，可以通过调整Dask的配置来限制同时打开的文件数量。具体的配置方式可以参考Dask的官方文档。
- 使用适当的资源管理工具：可以考虑使用一些资源管理工具来帮助管理文件描述符的使用，例如使用supervisor来监控和管理进程，或者使用systemd来管理系统服务。
总结起来，解决Tornado错误“打开的文件太多”导致Dask失败的方法包括增加文件描述符限制、优化代码、调整Dask的配置以及使用适当的资源管理工具。这些方法可以帮助您解决该问题并确保Dask的正常运行。
相关链接：
- Tornado官方文档：Tornado官方文档
- Dask官方文档：Dask官方文档
- Supervisor官方文档：Supervisor官方文档
- Systemd官方文档：Systemd官方文档
相关·内容
我正在尝试使用dask.distributed Python API来启动一个调度程序。中提供的示例按预期工作，但它没有提供有关如何提供启动Bokeh web界面所需的选项的见解。
在检查了dask.distributed源代码之后，我知道我需要使用Scheduler(services={})提供Bokeh选项。不幸的是，我尝试为services={}找到正确的字典格式失败了。
下面是dask调度器函数的代码。
import dask.distributed as daskd
import tornado
import threading
def create_dask_scheduler(
浏览 40提问于2019-05-23得票数 0
回答已采纳
我正在尝试在一个新的蟒蛇环境中运行Dask-MPI“入门”(http://mpi.dask.org/en/latest/)示例。 我设置了一个环境，使用 conda create -n dask-mpi -c conda-forge python=3.7 dask-mpi
conda activate dask-mpi 在环境中，我运行 mpirun -np 4 dask-mpi --scheduler-file ./scheduler.json 然后，在同一台机器(在同一文件夹中)上的python解释器中，我运行 from dask.distributed import Client
cl
浏览 22提问于2019-06-20得票数 0
回答已采纳
我在Windows中使用Delayed和Futures正确地使用了Dask.distributed，但今天在使用以下命令更新我的anaconda环境后遇到了问题： conda update conda
conda update anaconda
conda update spyder 以前起作用的东西现在不起作用了。甚至下面这段简单的代码也不能工作： from dask.distributed import Client
client = Client(n_workers=4)
from time import sleep
def inc(x):
sleep(1)
re
浏览 10提问于2020-03-27得票数 1
回答已采纳
我正在使用分布式调度器的dask。我正在尝试将通过s3上的csv读取的数据集复制到所有工作节点。示例：
from distributed import Executor
import dask.dataframe as dd
e= Executor('127.0.0.1:8786',set_as_default=True)
df = dd.read_csv('s3://bucket/file.csv', blocksize=None)
df = e.persist(df)
e.replicate(df)
distributed.utils - ERROR
浏览 0提问于2016-08-31得票数 0
回答已采纳
我正在我的dask worker上运行一个简单的程序。下面是程序。 import numpy as np
from dask.distributed import Client
import joblib
from sklearn.datasets import load_digits
from sklearn.model_selection import RandomizedSearchCV
from sklearn.svm import SVC
client = Client('127.0.0.1:30006', timeout=10000)
client.get_
浏览 174提问于2021-03-23得票数 0
我正在运行从Anaconda启动的Jupyter notebook。尝试初始化分布式Dask环境时，抛出以下Tornado包错误： tornado.application - ERROR - Multiple exceptions in yield list
Traceback (most recent call last):
File "/anaconda3/lib/python3.7/site-packages/tornado/gen.py", line 883, in callback
result_list.append(f.result())
Fil
浏览 37提问于2019-05-16得票数 0
回答已采纳
我想更好地理解dask.distributed是如何工作的。我有一个简单的csv，我读到了一个Dask数据文件，如下所示。此操作执行良好，并返回一些整数值，表示dataframe的长度，这是我所期望的行为。
import dask.dataframe as dd
gdf = dd.read_csv(filepath)
len(gdf)
# returns some int value
但是，一旦我从Client引入了一个来自dask.distributed的实例，就会收到以下错误：
distributed.utils - ERROR - 'LocalFileSystem' ob
浏览 5提问于2017-06-14得票数 1
回答已采纳
1回答
我一直使用Microsoft Visual Studio作为Python的IDE，最近开始使用Dask处理大型csv文件。在尝试使用Dask distributed时，如果我尝试启动仪表板，就会收到许多错误。 我已经在多台机器上尝试过MS VS2017和Jupyter notebook中的简单代码。我在Jupyter中没有收到错误，仪表板加载正常。但是，代码会崩溃，并且不会在Visual Studio下加载仪表板。 这两个IDE都运行在我使用最新版本的Dask和Python 3.6的相同环境下 下面是一些简单代码的示例： from dask import dataframe as ddf
f
浏览 16提问于2019-06-03得票数 1
我正在尝试在kubernetes上运行dask。下面是dask-kubernetes的hello world，但我被下面的错误卡住了。 main.py： import os
from dask_kubernetes import KubeCluster
from dask.distributed import Client
import dask.array as da
if __name__ == '__main__':
path_to_src = os.path.dirname(os.path.abspath(__file__))
cluster =
浏览 38提问于2021-08-17得票数 0
回答已采纳
我在kubernetes上有一个标准的集群设置，使用的是dask docker图像，而不是dask舵表。我尝试在集群上运行现有脚本，但似乎没有运行。它总是抛出错误。
集群详细信息:1个notebook、1个scheduler、1个worker和1个共享vol。我在KilledWorkers上阅读了一些线程，所以我查看了日志，但找不到。
文件错误无回溯(最近一次调用)：文件"/opt/conda/lib/python3.7/site-packages/distributed/worker.py"，行814，在handle_scheduler comm，every_cycle=se
浏览 5提问于2019-09-03得票数 1
我正在按计划在一个纱线集群上运行Dask-YARN作业。该作业创建延迟的Dask任务列表，并使用以下代码将其提交到群集： from dask_yarn import YarnCluster
cluster = YarnCluster()
cluster.scale(8)
app_id = cluster.application_client.id
client = Client(cluster)
dask.compute(dask_tasks)
cluster.shutdown()
client.close() 然后，它使用以下命令记录应用程序工作日志： yarn logs -applic
浏览 23提问于2019-12-05得票数 1
2回答
我在使用、Dask、和分布式开发数据分析管道方面取得了很大成功。然而，我仍然期待改进的一件事是我处理异常的方式。
现在，如果我写以下内容
def my_function (value):
return 1 / value
results = (dask.bag
.from_sequence(range(-10, 10))
.map(my_function))
print(results.compute())
..。然后，在运行该程序时，我会得到一个长长的跟踪列表(我猜，每个工作人员都有一个)。最相关的部分是
distributed.utils - ERROR - d
浏览 3提问于2017-02-28得票数 11
2回答
尝试以下conda install操作(从派生)：
conda config --prepend channels rapidsai && \
conda config --prepend channels nvidia && \
conda config --set channel_priority strict && \
conda install \
-c conda-forge \
-y \
-q \
dask-yarn>=0.7.0 \
pyarrow \
s3fs \
conda-pack \
tornado=5 \
pytho
浏览 8提问于2020-07-30得票数 1
回答已采纳
2回答
我有多个(~50)个较大的csv文件(每个约1到5 5gb )，我希望将它们合并为一个较大的csv文件。使用dask，我创建了一个循环，它打开每个csv并调用merge，然后在循环结束时将所有内容保存到csv：
for i, file in enumerate(files):
table = dd.read_csv(file)
if i == 0:
merged = table
else:
merged = dd.merge(merged, table, on = ["id", "time", "
浏览 1提问于2018-10-23得票数 0
1回答
在我的基于达斯克的应用程序(使用distributed调度程序)中，我看到了以以下错误文本开头的失败：
tornado.application - ERROR - Exception in Future <Future cancelled> after timeout
Traceback (most recent call last):
File "/miniconda/envs/flyem/lib/python3.6/site-packages/tornado/gen.py", line 970, in error_callback
future.re
浏览 0提问于2018-12-19得票数 3
回答已采纳
1回答
最近，我尝试将我的Dask发布版本升级到2.3.0，并将扣件升级到0.3.2，但发现这会导致使用DASKDistributed2.1.0的代码出现死锁和工作人员丢失(我想使用read_parquet特性‘was _statistics=False’，它在Dask 2.2.0+中)。看起来龙卷风可能对新版本的达斯克不太好--我遇到了一些错误，比如我在底部粘贴的东西。
升级龙卷风似乎不能解决我在Dask 2.3.0中遇到的稳定性问题。在我的集群中，当前的一组相关软件包似乎是稳定的，它们是：
Python 3.7.3
dask==2.1.0
distributed==2.1.0
torna
浏览 0提问于2019-09-10得票数 1
回答已采纳
1回答
我有以下dask数据帧
@timestamp datetime64[ns]
@version object
dst object
dst_port object
host object
http_req_header_contentlength o
浏览 0提问于2017-11-10得票数 3
1回答
我们在“旋风”上做一些性能测试。这是密码
import tornado.websocket
import tornado.ioloop
import tornado.web
class TestTornado(tornado.websocket.WebSocketHandler):
def open(self):
self.set_nodelay(True)
pass
def on_message(self, message):
self.write_message(message)
self.close()
浏览 5提问于2016-02-03得票数 1
回答已采纳
我感兴趣的是创建一个dask.array.Array，它在compute()之前/之后打开和关闭资源。但是，我不想假设最终用户将如何调用compute，我希望避免创建自定义的dask Array子类或代理对象，因此我试图将操作嵌入到数组的底层__dask_graph__中。
(旁白:请暂时忽略关于在dask中使用有状态对象的警告，我知道其中的风险，这个问题只是关于任务图的操作)。
请考虑下面的类，该类模拟必须处于打开状态的文件读取器才能读取块，否则就会出现分段错误。
import dask.array as da
import numpy as np
class FileReader:
浏览 7提问于2021-11-14得票数 1
回答已采纳
1回答
我有一个PBS作业脚本，它有一个可执行文件，可以将结果写入out文件。
### some lines
PBS_O_EXEDIR="path/to/software"
EXECUTABLE="executablefile"
OUTFILE="out"
### Copy application directory on compute node
[ -d $PBS_O_EXEDIR ] || mkdir -p $PBS_O_EXEDIR
[ -w $PBS_O_EXEDIR ] && \
rsync -Cavz --rsh=$S
浏览 2提问于2020-05-16得票数 0
回答已采纳
1回答
在某些情况下，dask集群似乎在重新启动时挂起。
为了模拟这种情况，我编写了一段愚蠢的代码：
import contextlib2
from distributed import Client, LocalCluster
for i in xrange(100):
print i
with contextlib2.ExitStack() as es:
cluster = LocalCluster(processes=True, n_workers=4)
client = Client(cluster)
es.callback(c
浏览 0提问于2018-12-31得票数 0
回答已采纳
1回答
我正在尝试在Dask中进行简单的并行计算。这是我的代码。
import time
import dask as dask
import dask.distributed as distributed
import dask.dataframe as dd
import dask.delayed as delayed
from dask.distributed import Client,progress
client = Client('localhost:8786')
df = dd.read_csv('file.csv')
浏览 4提问于2018-07-19得票数 0
回答已采纳
1回答
我用python3和Dask来拟合一个logistic回归模型。我有两个numpy数组x，y，我使用这段代码将它们转换为dask数组。
data = da.from_array(data, chunks=(1000, data.shape[1]))
labels = da.from_array(labels)
然后
from dask_ml.linear_model import LogisticRegression
l = LogisticRegression()
l.fit(data, labels)
拟合logistic回归，但不断得到这个误差
引发ValueError(“检测到多个常
浏览 0提问于2019-06-13得票数 0
我有一个从HDFS上的拼花文件创建的dask数据文件。当使用api: set_index创建设置索引时，会出现以下错误。
文件"/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/dask/dataframe/shuffle.py"，第64行，在set_index除法、大小、mins、maxes =base.compute(除法、大小、mins、maxes)文件"/ebs/d1/agent/conda/envs/py361/lib/python3.6/site-packages/dask/base.py
浏览 0提问于2017-10-08得票数 3
3回答
在木星笔记本中运行“旋风”服务器
、、、、
采用标准的旋风演示并将IOLoop推入后台线程，可以在单个脚本中查询服务器。当旋风服务器是一个交互式对象时，这是非常有用的(请参阅Dask或类似文件)。
import asyncio
import requests
import tornado.ioloop
import tornado.web
from concurrent.futures import ThreadPoolExecutor
class MainHandler(tornado.web.RequestHandler):
def get(self):
self.write("Hello, wo
浏览 0提问于2019-03-16得票数 8
回答已采纳
我设置了一个集群，它似乎正确地连接到调度器(3台LinuxUbuntu18.04和3台Windows 10机器，调度器位于Win 10机器之一上)。我得到了一个超时错误的代码，我已经成功运行，当所有的开放源码软件都赢了10。
这是它所有荣耀中的错误：
tornado.application - ERROR - Multiple exceptions in yield list
Traceback (most recent call last):
File "C:\Apps\Anaconda\lib\site-packages\distributed\comm\core.py"
浏览 0提问于2019-01-30得票数 1
回答已采纳
1回答
分布式任务:在计算后获取一些错误
、、、、
我在LinuxPython7上运行Dask发行版，安装了CentOS 3.6.2。我的计算似乎变得很好(我仍在改进我的代码，但我能够得到一些结果)，但我仍然得到一些明显与tornado模块相关的python错误。我只启动了一个单节点的独立Dask分布式集群。
下面是最常见的例子：
Exception in thread Client loop:
Traceback (most recent call last):
File "/usr/local/lib/python3.6/threading.py", line 916, in _bootstrap_inner
s
浏览 3提问于2017-08-21得票数 1
回答已采纳
我正在尝试将我的dask客户机连接到我的GKE上部署的dask调度程序服务。部署是使用Helm完成的，并且dask-scheduler服务的类型为LoadBalancer，因此它有一个externalIP。
当尝试从集群内部连接时，使用Jupyter可以正常工作。从GCE连接时，请使用：
Client('tcp://<scheduler-externalIP>:<scheduler-port>')
我得到一个超时错误：
`Traceback (most recent call last):
File "/home/<user>/.lo
浏览 26提问于2021-11-12得票数 1
我见过的nginx + tornado的一种常见配置是让nginx服务静态文件，然后充当一些上游tornado应用服务器的反向代理。我知道这种配置通常用于通过阻止tornado的wsgi (比如Django)为应用程序提供服务。在这种情况下，通常的方法是运行内存中可以容纳的尽可能多的tornado进程，然后跨进程使用nginx前端轮询。
如果我使用CDN而不是nginx来服务静态文件，并以非阻塞的方式运行tornado，那么与机器上的内核相比，运行更多的总进程(即每个内核1个nginx和1个tornado )是否有优势？
浏览 2提问于2013-01-14得票数 0
回答已采纳
我使用的是dask 1.1.1 (最新版本)，我已经在命令行中使用以下命令启动了一个dask调度程序： $ dask-scheduler --port 9796 --bokeh-port 9797 --bokeh-prefix my_project
distributed.scheduler - INFO - -----------------------------------------------
distributed.scheduler - INFO - Clear task state
distributed.scheduler - INFO - Scheduler at:
浏览 85提问于2019-02-14得票数 4
回答已采纳
我正在尝试使用Ctrl+C来优雅地停止我正在运行的代码，包括一个本地dask.distrubted客户机。下面的代码是我的设置示例。当我使用Ctrl+C时，stop()方法被正确调用，但是dask客户端似乎在到达self.dask.close()方法之前就错误地退出/打印回溯。
from dask.distributed import Client
class SomeService(object):
def __init__(self):
self.dask = None
def run(self):
# Setup local dask
浏览 0提问于2018-10-11得票数 0
我正在尝试使用tornado回退在tornado服务器上运行Django wsgi应用程序
wsgi_app = tornado.wsgi.WSGIContainer(
django.core.wsgi.WSGIHandler()
)
tornado_app = tornado.web.Application(
[
(r"/hello/(.*)", HelloHandler),
('.*', tornado.web.FallbackHandler, dict(fallback=wsgi_app)),
]
)
浏览 0提问于2014-11-26得票数 1
1回答
我有数以千计的镶木地板文件需要处理。在处理文件之前，我尝试使用parquet元数据获取有关文件的各种信息，例如每个分区中的行数、min、max等。
我尝试使用dask.delayed读取元数据，希望在集群中分发元数据收集任务，但这似乎导致了Dask中的不稳定。参见下面的示例代码片段和节点超时错误。
有没有办法从Dask中读取拼图的元数据？我知道Dask的"read_parquet“函数有一个"gather_statistics”选项，您可以将其设置为false以加快文件读取速度。但是，如果设置为true，我看不到访问所有拼图元数据/统计数据的方法。
示例代码：
@dask.de
浏览 8提问于2019-10-03得票数 2
有两个任务调度程序系列：
单机调度程序:此调度程序在本地进程或线程池上提供基本功能。此调度程序是首先创建的，是默认的。虽然它只能在一台机器上使用，而且不扩展分布式调度器，但使用起来简单而廉价:这个调度器更复杂，提供了更多的功能，但也需要更多的精力来设置。它可以在本地运行，也可以分布在集群中。
为了更好地理解，我正在尝试复制一些例子。
给出了这个例子。
>>> import dask
>>> import dask.distributed # populate config with distributed defaults
>>>
浏览 0提问于2019-09-06得票数 1
1回答
dask读取拼图并指定模式
、、、、
在读入拼图文件时，有没有dask等同于spark指定模式的能力？可能使用传递给pyarrow的kwargs？
我在存储桶中有一堆拼图文件，但其中一些字段的名称略有不一致。我可以创建一个自定义的延迟函数来在读取它们之后处理这些情况，但我希望在通过globing打开它们时可以指定模式。也许不是，正如我猜测的那样，then然后via globing将尝试连接它们。由于字段名称不一致，此操作当前失败。
创建拼图文件：
import dask.dataframe as dd
df = dd.demo.make_timeseries(
start="2000-01-01",
浏览 0提问于2021-04-01得票数 4
在windows上执行以下命令时
conda install dask
安装失败时有以下错误消息：
[WinError 2] The system cannot find the file specified
任何帮助都将不胜感激。
浏览 3提问于2019-08-05得票数 0
回答已采纳
1回答
我使用的是用Python3.5编写的websocket服务器。这是需要提供我的网站实时信息。
我使用的“服务器”-library称为 (4.3版)，它处理websocket连接和http请求。为了向后兼容(如果浏览器还不支持websocket )，我使用python库 (1.0.3版)，它还为websocket连接添加了一些额外的特性。
此连接使用协议wss://，因此它是加密的，并为套接字连接加载证书。问题是，当服务器已经运行了很长一段时间时，我会得到一个错误。
ERROR:tornado.application:Exception in callback (<socket.socke
浏览 2提问于2017-04-27得票数 0
1回答
我正在建造和启动它：
sudo docker build -t docker_mads_dask_server ~/docker_setups/dask_cluster
echo "Stop/Remove dask_server"
sudo docker stop dask_server -t5
sudo docker rm dask_server
echo "Build tag"
sudo docker build --tag mads_servers.dask_server:0.1.2 ~/docker_setups/dask_cluster
sudo
浏览 4提问于2020-05-24得票数 0
1回答
在google中打开geemap时，我一直面临这个错误
AttributeError:模块'tornado.ioloop‘没有属性'_Selectable’
浏览 8提问于2022-09-29得票数 0
当我运行以下代码时，：
from dask.distributed import Client
client = Client(n_workers = 2, threads_per_worker = 2, memory_limit = '2GB', silence_logs='error')
client
我得到了这些错误的无尽循环：
tornado.application - ERROR - Exception in callback <bound method Nanny.memory_monitor of <Nanny: None, thre
浏览 2提问于2021-03-31得票数 1
1回答
我可以使用dask.distributed.Client的空参数构造函数隐式创建dask.distributed.LocalCluster。但是，当我尝试使用关键字参数显式定义集群时，它会失败并引发异常：TypeError: cannot pickle '_thread.RLock' object。
下面是一个简单的复制器：
import dask.bag
from dask.distributed import Client, LocalCluster
def main():
with Client():
dask.bag.from_sequenc
浏览 35提问于2020-06-05得票数 0
回答已采纳
2回答
在通过Google (官方的Dask图表)进行部署之后，我用一些额外的conda包更新了环境，特别是xarray和rasterio。如果我试图运行我的代码，我将从workers日志中得到这个错误，并停止这个过程。
追溯(最近一次调用)：文件"/opt/conda/lib/python3.7/site-packages/tornado/ioloop.py"，行743，在_run_callback =回调()文件"/opt/conda/lib/python3.7/site-packages/tornado/ioloop.py"，行767中，在_discard_fu
浏览 1提问于2019-07-30得票数 0
回答已采纳
1回答
我已经建立了一个达斯克集群。我可以访问web仪表板，但是当我试图连接到调度程序时：
from dask.distributed import Client
client = Client('192.168.0.10:8786')
我得到以下错误：
tornado.application - ERROR - Exception in Future <Future cancelled> after timeout
Traceback (most recent call last):
File "/home/user/venv/lib/python3.5/si
浏览 0提问于2018-09-13得票数 4
我正在尝试设置一个dask分布式集群，我已经在三台机器上安装了dask，以便开始：
膝上型计算机(在这里searchCV被调用)
调度程序( dask调度程序进程所在的小框)
HPC (期望完成这项工作的大盒子)
我在笔记本电脑上安装了dask[complete]，在其他机器上安装了dask。工作人员和调度程序很好地启动，我可以看到仪表板，但我不能发送任何东西。在笔记本电脑上运行GridSearchCV是一个结果，但它来自于笔记本电脑，工人们坐在那里无所事事。
所有的机器都是windows 7 (HPC是10)，我已经用netstat检查了端口，看起来它实际上是在监听它应该
浏览 1提问于2018-08-08得票数 0
1回答
分布式计算反序列化错误
、、、
我有一个在linux机器上运行的dask调度程序和工作人员，我试图从windows 10笔记本电脑上发送一个网格搜索任务。
from dask.distributed import Client, progress
client = Client('10.133.20.17:8786',processes=False,threads_per_worker=4,n_workers=1, memory_limit='2GB')
from sklearn.datasets import make_classification
from sklearn.svm impo
浏览 0提问于2019-09-09得票数 1
我正在使用Dask分布式，并试图从存储在HDFS中的CSV创建一个数据格式。我认为与HDFS的连接是成功的，因为我能够打印dataframe列的名称。但是，当我试图在dataframe上使用len函数或任何其他函数时，会出现以下错误：
pyarrow.lib.ArrowIOError: HDFS file does not exist: /user/F43479/trip_data_v2.csv
我不明白为什么我有这个错误。我想听听你的意见。
这是我的代码：
# IMPORTS
import dask.dataframe as dd
from dask.distributed import C
浏览 2提问于2019-04-30得票数 0
回答已采纳
我已经看到下面的错误消息很长一段时间了，但不知道是什么导致了失败。
错误：
concurrent.futures._base.CancelledError: ('sort_index-f23b0553686b95f2d91d4a3fda85f229', 7)
在重启dask集群时，它会成功运行。
浏览 2提问于2017-10-20得票数 11
1回答
我有一个很大的文件(25 to )，内存放不下。我想用Dask在这上面做一些操作。我尝试了两种方法，但都因内存错误而失败。
方法1
>>> import dask.dataframe as dd
>>> df = dd.read_json('myfile.jsonl', lines=True)
MemoryError:
方法2
>>> # split file in 12 pieces with the unix split command
>>> # all of which by themselves
浏览 4提问于2020-10-22得票数 0
我有一个包含多个.parquet文件的数据文件夹，这些文件是用熊猫和吡箭转换成的.csv文件。所有文件都有一个名为“时间戳”的日期时间索引，五个名为“打开”、“高”、“低”、“关闭”、“卷”的列都具有相同的dtype=int32。
我只想把它们全部加载到一个Dask.Dataframe中。这是一个代码片段。
import os
import pyarrow as pa
import pyarrow.parquet as pq
import dask.dataframe as dd
user = os.getlogin()
data_path = 'C:\\Users\\%s\\da
浏览 5提问于2017-10-23得票数 2
回答已采纳
1回答
我是熊猫新手，我想要你的帮助。
我有两个文件，其中一个非常大(100G+)，我需要根据一些列合并它们。我跳过了大文件中的一些行，因此我将该文件作为read_csv方法的缓冲区。
弗西，我试过用熊猫。但是，当我尝试使用pandas打开该文件时，该进程被操作系统终止。
with open(self.all_file, 'r') as f:
line = f.readline()
while line.startswith('##'):
pos = f.tell()
line = f.readline()
浏览 2提问于2019-04-21得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
