在Windows中使用SystemCommandTasklet分割大文件

文章/答案/技术大牛

发布

1回答

java、spring-batch、cloud-foundry

我正在尝试使用Spring Batch中的SystemCommandTasklet将一个大的平面文件拆分为多个文件。我从scality中检索大文件，并将其存储在temp目录中。我收到以下错误:无法运行程序"split“(在目录”C：\Users\myuser\AppData\Local\Temp“中)：CreateProcess error=2，系统找不到指定的文件这是问题Using SystemCommandTa

浏览 20提问于2020-08-11得票数 1

回答已采纳

1回答

在bash环境下在Intellij中启动弹簧引导

java、bash、spring-boot、intellij-idea、spring-batch

当我使用“作为弹簧引导应用程序运行”从Intellij运行它时，它就失败了。就像我在窗户上运行一样。 SystemCommandTasklet systemCommandTasklet = new SystemCommandTasklet(); String Commmand> input_footer

浏览 2提问于2020-06-09得票数 0

1回答

春季批处理SystemCommandTasklet抛出空指针异常

spring、spring-boot、spring-batch

我是Spring的新手，在批处理过程之后，我尝试使用SystemCommandTasklet作为第二步运行linux命令。但是，在排序更大的文件时，它会抛出NullPointerException (这需要一些时间，大约250 MB)。看起来，SystemCommandTasklet无法在beforeStep()中初始化StepExecution并引发错误。有人能检查我的配置，并让我知道，如果我错过了一些配置，这是造成这一点？)) .build(

浏览 2提问于2017-02-09得票数 0

回答已采纳

1回答

Spring批处理和SystemCommandTasklet:无法传递参数

java、spring、spring-boot、spring-batch

我使用了一个SystemCommandTasklet，并且，正如建议的那样，将Tasklet添加为一个StepListener，但我一直得到一个NPE。(SystemCommandTasklet.java:133) ~[spring-batch-core-4.2.1.RELEASE.jar:4.2.1.RELEASE] at java.base/java.lang.Thread.run(Thread.java:834) ~[na:na]

浏览 5提问于2020-03-16得票数 0

回答已采纳

1回答

使用SystemCommandTasklet将大型平面文件拆分为小文件

spring-batch、flat-file

是否有人已经使用Spring将大型平面文件拆分为小文件。我们希望将文件拆分为1亿条记录(每个记录包含15个字段)。请在这方面提供任何帮助将是非常感谢的。

浏览 0提问于2014-12-31得票数 1

回答已采纳

2回答

按偏移量引用拆分/引用大文件

linux、filesystems

split将文件分割成碎片，这些碎片总共占用相同的存储空间(将消耗的磁盘空间加倍)。不重叠其他部分(片段将不引用<

浏览 0提问于2023-03-14得票数 9

回答已采纳

2回答

弹簧批次-读取一个大的平面文件-选择水平缩放？

spring、spring-batch

问题:用2000万个数据读取一个/多个csv文件，执行次要处理，将其存储在db中，并在最短的时间内将输出写入另一个平面文件。使用远程连接还是分区来进行水平缩放？多资源分区器跨服务器工作吗？有什么好的教程，你知道这样的事情已经

浏览 15提问于2014-07-29得票数 8

4回答

混合使用C和C++文件操作

c++、c

我正在写一个文件分割程序，以帮助使用iPod笔记的大文件。我想在cstdio中使用tmpfile()，但它返回的是文件，而不是fstream对象。我知道这在标准的C++中是不可能的，但是有没有人知道有什么库可以很好地将文件转换成std::fstream对象呢？或者，如果没有，tmpfile()功能是否在标准库或其他库中可用？谢谢!我的操作系统是Windows XP，我使用Dev-C++ 4.9.9.2或MS Visual Studi

浏览 0提问于2009-06-21得票数 1

回答已采纳

1回答

如何在春季批处理大型csv文件时禁用/避免从下一个文件开始的linesToSkp(1)

spring-boot、spring-batch、batch-processing、read.csv、spring-batch-tasklet

我们有大量的csv文件，有1亿条记录，使用spring批处理来加载、读取和写入数据库，用"SystemCommandTasklet“将100万条记录拆分到数据库中。下面是片段，@StepScope SystemCommandTasklet</

浏览 16提问于2022-05-30得票数 0

回答已采纳

1回答

AWS如何对单个文件进行动态框架分区？

pyspark、aws-glue

有人能解释一下AWS Glue如何分割单个大文件吗？如果使用spark.sql.files.maxPartitionBytes将大文件转换为分区，如何在胶水作业中覆盖它？我试过使用sparkConf conf = SparkConf() conf.set('spark.files.maxPartitionBytes',41943040) # 40MB sc= SparkContext().getOrCreate(conf=conf) 我使用的是火花放

浏览 2提问于2021-09-23得票数 0

4回答

Windows服务器备份解决方案

windows、windows-server-2008、backup

我需要一种免费的备份/同步软件的Windows 2008。我尝试了几个程序，但它们都没有所需的功能。我需要一个软件，它可以执行以下两个选项之一: 1)比较两个本地目录和上传文件，这些文件在第二个dir中丢失/不同，到FTP 或2)镜像本地目录到ftp，但将文件保存在ftp中，并将其分割成特定大小的存档(因为ftp中的最大文件数有限)。

浏览 0提问于2009-10-19得票数 0

回答已采纳

1回答

IOError：[Errno 24]太多打开的文件，-Python，Windows

windows、io

我在Windows上使用Python将一个大文件(几个GBs)拆分成许多较小的文件。这个文件被行的内容分割开来，所以我需要在同一时间打开所有的小文件，并将内容写入其中。我在尝试打开其中一个文件时得到了IOError: [Errno 24] Too many open files，根据调试器，已经有507个打开的文件。另外-为什么<em

浏览 0提问于2018-11-12得票数 1

回答已采纳

1回答

Git等同于` `hg cp`

git

我的任务是将一个非常大的文件(已经提交)分割/提取为许多较小的文件。使用Hg，我会将提取的文件添加为现有大文件(hg cp或hg cp -A)的副本，这样当我将分支合并到主文件中时，我正在工作时对大文件所做的其他更改将在我的提取文件中跟踪/冲突。

浏览 0提问于2016-04-26得票数 3

2回答

如何使用C#按文件大小分割PDF文件？

c#、pdf、acrobat

我找到了一个教程，它演示了如何使用Adobe Acrobat将一个PDF文件按页面或按最大文件大小拆分成单独的PDF文件：我在StackOverflow上有关于如何用C#按页拆分PDF的文章如何使用C#按最大文件大小将一个PDF文件拆分为多个PDF文件？例如，假设我有一个70页、40MB的PDF文件。而不是分割成7个PDF文件，每个10页，我如何使用C#将文件拆分为大约5个PDF文件，每个文件不超过10MB？到目前为止，我所见过的最好的方法是在

浏览 6提问于2012-07-28得票数 1

3回答

通过html表单上传大文件(超过2 GB)

html、http、file-upload、large-files

有没有什么方法可以上传超过2 GB的文件，使用简单的html表单上传？以前，我一直使用分块技术通过silverlight上传大文件(将大文件分成多个片段，然后一个接一个地上传片段，然后在服务器上重组片段)。如果使用简单的html无法做到这一点，有没有人可以指导我如何使用flex分割和上传文件？

浏览 9提问于2011-02-20得票数 54

回答已采纳

1回答

使用javascript将大CSV文件拆分为多个较小的CSV文件，然后作出反应

csv、split、chunks

在客户端，是否可以使用javascript将这个大文件分割成几个较小的文件(例如100 k记录)？

浏览 1提问于2020-11-04得票数 1

回答已采纳

1回答

aws javascript sdk v3中的S3 ManagedUpload等价物？

aws-sdk、aws-sdk-js、aws-sdk-js-v3

在老版本的javascript中，我使用managedupload函数将大文件上传到s3，它将执行文件的排队和管理文件的多分割。但是在V3中，这个函数不在文档中的任何地方，它被删除了吗？

浏览 42提问于2021-03-20得票数 2

回答已采纳

1回答

对MongoDB网格资源优势的困惑

mongodb

MongoDB gridfs说，最大的优势是将大文件分割成块，如果只想看到文件的一部分，就不必将整个文件加载到内存中。但我的困惑是，即使我从本地磁盘打开了一个大文件，我也可以使用skip() API来加载我想要的部分文件。我根本不需要加载整个文件。那么，为什么MongoDB说这是优势呢？

浏览 0提问于2016-08-28得票数 4

回答已采纳

1回答

如何访问大型文件的多个段

c#、file、pointers、handle

我有一个大文件，希望保留5-6指针，它将文件分割成块，并提供更快的访问任何部分的权限。是可以在c#中实现的。

浏览 1提问于2011-04-18得票数 0

2回答

检查使用SystemCommandTasklet启动的程序的输出

spring-batch

我是第一次使用Spring-batch，并且我正在尝试获得SystemCommandTasklet函数的句柄。我在Windows8上使用的是STS，我想做的是使用SystemCommandTasklet启动一个简单的Java程序"HelloWorld“，并将输出字符串重定向到一个txt文件中。我的HelloWorld程序位于C:\Users\nicholas.pizzini\中，当我启动 java -cp C:\Users\

浏览 0提问于2015-11-04得票数 0

点击加载更多