我注意到在spark-shell (spark 2.4.4)中，当我做一个简单的spark.read.format(xyz).load("a","b","c",...)时，spark看起来像是使用了一个单独的ipc客户端(或“线程”)来加载文件a、b、c……顺序(它们是到hdfs的路径)。我问的原因是，对于我的情况，我正在尝试加载50K文件，而顺序加载需要很长时间。另外，我正在尝试在源代码中查看它，但不确定是否就是这个：
浏览 21提问于2020-05-19得票数 3
2回答
我有20多个文件，每个文件包含近100万行(5GB)，我需要加快阅读过程，所以我尝试并行读取这些文件，但比顺序读取要花费更长的时间。有没有办法并行读取一个很大的文件？string.IsNullOrEmpty(filePath) && File.Exists(filePath)) StreamReader str =
浏览 0提问于2018-03-28得票数 3
回答已采纳
1回答
我有一个非常大的文本数据文件。是否可以由多个文件读取器同时并行地从不同位置读取此文件？例如，一个阅读器从开始读到中间，另一个开始从文件的中间读到结尾。我有一种通过流读取文件并使用parallel的替代方法。但它并没有达到这个目标。Files.lines(filePath).parallel
多个文件读取器可能无法读取同一文件，因
浏览 2提问于2018-08-08得票数 1
1回答
有没有办法用OpenCV并行读取视频文件中的帧，或者以其他方式加快读取速度？
我尝试在多个线程中使用cap.read(frame)函数，但应用程序崩溃。我还尝试使用VideoCapture对象数组cap，所有对象都引用相同的视频文件，然后在每个线程中我可以使用caps[i].read(frame)，因此我可以并行读取，但我只是多次读取相同的帧。
浏览 22提问于2021-06-02得票数 0
回答已采纳
1回答
我正在寻找一个'sftp‘替代以下命令： cat list_of_files_to_copy.txt | xargs -I % cp -r % -t /target/folder/ ：读取一个包含要复制的文件夹路径的文本文件我想这样做，这样我就可以并行化复制过程，使用所有文件夹的分区，我可以将每个文件夹作为不同的文本文件分配给不同终端上的多个复制命令(如果这不能像我期望的那样工作，请评论)。由于
浏览 33提问于2019-09-20得票数 0
我有一个Python函数(如下所示)，它从S3读取多个csv文件，并将它们分别保存为一个字典中的Pandas DataFrames。有没有办法将这个过程并行化，以便可以同时读取tables中的多个项目，而不是逐个读取？
浏览 3提问于2019-12-04得票数 1
是否有可能在单个多核机器上并行迭代单个文本文件？对于上下文，文本文件的JSON输出在250-400MB之间。以下是我一直在使用的一些代码示例。令我惊讶的是，并行处理并没有获胜--只是基本的lapply --但这可能是由于我的用户错误。此外，当尝试读取大量大文件时，我的机器卡住了。
浏览 0提问于2012-11-27得票数 6
回答已采纳
1回答
我注意到，当处理一个大小为50 my的压缩文件时，我的管道执行时间几乎超过了3个小时。不完全确定是否有任何方法可以加快这部分的速度。下面是我看到的日志警告的截图，在作业最终成功完成之前。
浏览 3提问于2020-05-11得票数 0
1回答
当我发出API Post时，post在我的代码的不同部分写入和读取一个json文件。如何克服这种情况？这不是我的API中的多进程。因此，在我的json更新代码中使用python的多处理锁不会解决我的问题。
我希
浏览 2提问于2017-12-13得票数 2
1回答
我的SSIS包的主要目标是读取sql代码，然后execute.The脚本任务将读取SQL文件中的代码，然后将代码传递到全局变量中。SQL任务执行存储在变量中的代码。因此，我不能并行执行多个步骤。有没有办法避免创建多个变量来存储SQL代码？局部变量可以工作吗?如果可以，又是如何工作的？
浏览 0提问于2015-10-21得票数 0
我正在用DataFeeder训练神经网络，它有点慢(因为它从h5文件中读取不连续的数据)；所以GPU有一半的时间是空闲的(GPU-Util为0 %)。在TensorFlow或skflow中，有没有办法让多个DataFeeder并行运行，以避免这个瓶颈？
浏览 2提问于2016-04-13得票数 1
我有一个动态路由来读取和处理一个文件，并且可能有多个文件。每个路由一次处理一个文件。当对不同文件的请求同时到来时，没有问题，因为它根据文件名创建唯一的URI。我还需要支持对同一文件的并行请求。我得到了以下并行请求的异常。有没有办法可以在运行时创建路由的链接？
浏览 0提问于2018-10-04得票数 0
1回答
有一个用例，我必须读取巨大的Parquet文件并转换成Rocksdb二进制文件，所以我决定使用spark (因为我团队中的每个人都很熟悉它)。在Rocksdb方面，我知道它不是分布式的，你不能并行化。
现在我想把它们组合在一起。所以我的问题是，有没有可能将Rocksdb的多个实例组合在一起，使用一些后处理来创建一个大的Rocksd
浏览 31提问于2019-08-02得票数 3
有没有办法在Spark中并行化多个ML算法？我的用例是这样的: A)运行多机器学习算法(Naive Bayes，ANN，Random Forest等)并行的。我的问题是:我们可以并行运行步骤A中的多个机器学习算法吗？我们可以并行进行交叉验证吗？比如，并行运行10个迭代的朴素贝叶斯训练？
我找不到任何方法来并行运行不同的算法。而且似乎交叉验证也不能并行进行。我很感谢
浏览 2提问于2017-09-04得票数 0
1回答
目前，数据一次以1GB的块读取，并保存在数组中，以避免I/O瓶颈。我应该分离n块/数组中的数据(其中n是线程数)还是由多个线程访问的单个数组不成问题？目前，数据一次以1GB的块读取，并保存在数组中，以避免I/O瓶颈。我应该分离n块/数组中的数据(其中n是线程数)还是由多个线程访问的单个数组不成问题？当然，时间戳按时间顺序保存在文件中。该任务是在用户设置的特定时间窗口内，在通道之间查找符合事件。所以你继续阅读时间戳，当你在感兴趣的渠
浏览 0提问于2018-07-06得票数 0
回答已采纳
3回答
我有一个非常大的文本文件(+10 to )，我想读取一些数据挖掘技术。为此，我将并行技术与MPI结合使用，以便多个进程可以一起访问同一文件。
实际上，我希望每个进程读取N行。由于文件不是结构化的(字段数量相同，但每个字段可以包含不同数量的字符)，所以我有责任解析文件，这不是并行的，而且需要花费大量时间。有没有什么方法可以直接访问特定数量的行，而不需要解析和计数行？
浏览 0提问于2012-04-30得票数 20
回答已采纳
3回答
试图并行化我的c++程序。这里的模板代码：vector< vector< float > > data; data.resize( files.size() );当我插入而不是fread时(&datai，sizeof of (浮)，someSize，f) data[i][j] = rand我不相信磁盘读取会这么慢..。
浏览 6提问于2011-11-14得票数 2
我有一个巨大的25 CSV文件。我知道文件中有大约5亿条记录。我不想使用Hadoop/Pig，至少现在还不想。class MainClass { long start = 1; return stuff;}
我认为这样做我
浏览 3提问于2014-05-31得票数 1
我希望通过多个处理器并行执行这些操作。这可以在使用MPI (消息传递接口)的高性能计算集群上完成。
像wise一样，我可以使用多个工作者角色在云中进行一些并行化吗？有没有办法做到这一点。
浏览 2提问于2010-06-17得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
