增量文件复制工具和NIH

文章/答案/技术大牛

发布

10回答

diff

多年来，我最重要的工具之一是增量复制实用程序，它可以比较两个目录的内容，并显示哪些文件较新/较旧/已添加/已删除。每天，我发现自己在我的两台台式机和服务器之间复制源代码文件夹，这样的实用程序对于避免用旧文件覆盖新文件以及通过只复制更改的文件来节省时间至关重要。此外，该实用程序允许我查看源文件夹中我不一定想要复制的新文件(如临时

浏览 0提问于2008-09-19得票数 2

1回答

将tar.gz库复制到apache工作者

google-cloud-dataflow、apache-beam、setuptools

我想将一个工具库复制到worker机器中，并使用setup.py文件。CUSTOM_COMMANDS： CUSTOM_COMMANDS = [ ["wget", "-O", "/usr/local/sratoolkit.tar.gz","http://ftp-trace.ncbi.nlm.nih.gov，我找不到我复制到worker的工具。将工具

浏览 12提问于2020-04-17得票数 0

2回答

如何复制不断增长的文件？

linux、network-share、replication

我需要从网络文件共享中复制一堆不断增长的大型日志文件。是否有任何现有的Linux工具可以只根据源/目标文件大小的比较进行增量复制？假设已经复制的文件部分不会更改，则可以。

浏览 0提问于2021-10-21得票数 0

1回答

如何将Databricks表(时间戳和版本)复制到新订阅中的另一个Databricks？

azure、pyspark、azure-storage、databricks、azure-databricks

由于许多依赖项，目标是并行运行旧的和新的环境，直到所有的测试都通过为止。因此，我试图将Databricks表从旧环境复制到新环境。要尝试成功复制表，我尝试将Databricks表从旧订阅导出到帐户存储，并从帐户存储中将它们导入到新Databricks环境中。dbutils.fs.cp(<from>, <to>, <recurse>) 正如我所预期的那样，由于转换到dataframe，第一个文

浏览 2提问于2020-11-13得票数 2

7回答

支持ACL的Windows Rsync

windows-server-2008、rsync、ntfs、access-control-list、vss

我需要一个免费的类似rsync的Windows工具(最好是使用某种增量编码)，它支持同步Windows，并且可以复制打开的文件，可能是通过VSS/Shadow卷。许多工具关闭，但在其中一个或多个帐户上失败。我对多步过程没有问题，但我希望避免同步的多个步骤。也就是说，我不想单独同步文件和ACL，因为我不相信这不会失去同步。我找到了一个在Windows2008下标准的工具DISKSHADOW.EXE，它允许我创建和挂载一个VSS副本，所以一个可以

浏览 0提问于2012-03-09得票数 1

回答已采纳

1回答

通过使用python向路径添加文本(FTP路径NCBI)将文本添加到路径

python

您知道我是否可以复制路径中的最后一个文件夹，并在其中添加"_genomic.fna.gz“，例如如何从此处更改要这样做： ftp://ftp.ncbi.nlm.nih.gov/genomes/all/GCA&#

浏览 19提问于2021-06-11得票数 0

回答已采纳

1回答

如何使用dd命令对linux中的完整机器进行增量/同步映像备份？

linux、backup、iso

但是我想做一个增量/同步备份。有没有办法进行增量备份？

浏览 0提问于2019-08-28得票数 -2

2回答

percona xtrabackup增量备份与复制

mariadb、database-backups、percona

我使用percona xtrabackup innobackupex进行增量备份。它是一个很酷的工具，对增量备份非常有效。然而，我不禁想知道为什么增量备份会比常规的mysql主从复制更好，并且每当需要检索时间点数据时，只使用二进制日志？与主从复制相比，增量备份有哪些优势？什么时候你应该选择使用而不是其他？

浏览 2提问于2014-12-08得票数 1

1回答

ADF增量拷贝活动失败，请从数据湖中删除部分拷贝的文件

azure、azure-data-factory、azure-data-factory-2、azure-data-lake-gen2

我有一个每小时一次的增量加载管道，因为我有一个复制活动，将数据从sql server复制到每个活动的文件夹结构(YY/MM/DD/table_nameHH)中的datalake parquet格式：在复制活动之后，我有更新控制表中记录的成功/失败过程 ? 我需要确保如果在这两者之间有任何复制活动失败，我需要从数据湖中删除部分复制的文件。如何将条件设置为在流水线中选择和删除动态文件<

浏览 29提问于2021-03-29得票数 0

回答已采纳

1回答

如何通过python从xml文件中获取特定孙子节点的内容

python、xml、grandchild

我有一个xml文件的结构：-<LidcReadMessage xsi:schemaLocation="http://www.nih.gov http://troll.rad.med.umich.edu/lidc/LidcReadMessage.xsdxmlns:xsi="http://www.w3.org/2001

浏览 8提问于2019-11-04得票数 0

2回答

如何能够始终如一地克隆正在运行的VM？

virtual-machines、vmware-vcenter

服务器还在运行(为web应用提供服务)，而他正在复制。显然，在这两个小时内，服务器的硬盘和内存中的情况正在发生变化。我们怎么能得到这台机器的一致副本呢？还是我们最终会得到一份不一致的副本？

浏览 0提问于2012-08-17得票数 6

回答已采纳

1回答

SQL备份问题

mysql、sql-server-2008、windows-server-2008

目前，我们正在使用一个名为Rapidsync的程序(这是一个离线备份工具)，但是它速度很慢，并且锁定了当前正在备份的表，从而导致sql停机/缓慢。我们目前的服务器也在运行Windows2008 r2和SQL server2008(在同一个机器上)。通过我们使用的名为Navicat的程序，您可以使用SSH隧道到数据库并手动复制数据库，如果我们将其安装在本地计算机上并复制它们，这是一个可靠和可行的选择吗？或者使用SQL转储可能会更安全/更高效？

浏览 0提问于2013-03-07得票数 1

2回答

增量归档备份批处理脚本

database、windows、batch-file、backup、database-backups

我在windows上有一个Oracle归档文件夹，我需要在每天上午6:00对其进行增量备份我需要复制前一天生成的所有文件，并将它们放在包含今天日期的文件夹中。需要的是，在最后一次备份之后生成的文件应该只被复制，即昨天备份最后一个文件之后的文件名序列。我尝试过xcopy，但它没有提供任何基于修改时间复制文件的工具。我需要写一个批处理脚本为此，请帮助我！

浏览 2提问于2011-10-20得票数 0

回答已采纳

2回答

将ESXi快照发送给第三方法医小组

vmware-esxi、virtual-machines、vmware-vsphere、forensics、forensic-analysis

我的问题是，是否向他们发送快照文件的副本足以让他们进行取证分析？任何帮助，这将是非常感谢！

浏览 0提问于2019-01-03得票数 2

3回答

在MySQL中进行增量备份的最佳方法是什么？

mysql、database、backup

我们运行复制到从服务器。我们正在考虑每天备份MySQL日志文件。执行增量备份时的最佳实践是什么？

浏览 5提问于2009-01-03得票数 14

回答已采纳

1回答

如何使用Azure数据工厂将新的或更新的文件从Azure数据湖推送到文件夹

azure、file、azure-data-factory、azure-data-lake

我可以使用复制工具将数据从Azure数据湖推送到使用Azure data Factory的本地文件夹。但我只想将Azure数据湖中的更新或新文件推送到文件文件夹(我是指仅增量拉动)。

浏览 2提问于2020-05-20得票数 0

1回答

流/任务在仓库解决方案中是否可以用作ETL

etl、snowflake-task、snowflake-cloud-data-platform

我想复制ETL解决方案是雪花。我已经使用流和任务实现了这一点。我在流表上使用存储过程，其中有合并查询，这些查询在任何其他ETL工具中复制逻辑，如Informatica和任务，以自动化流程。这种方法对增量变化可行吗？

浏览 19提问于2020-06-30得票数 1

2回答

更改Windows中数据块的日志(NTFS)

windows、ntfs、block、journal

我已经写了一个备份工具，能够备份Windows卷的文件和映像。要检测哪些文件已更改，我使用Windows更改日志。我已经使用卷影复制功能对文件和卷映像执行一致的复制。集成到Windows 7中的备份能够创建增量卷映像，而无需检查所有块。我找不到一种用于块级更改日志的API。有人知道如何获取这些信息吗？(我愿意深入研究NTFS的内部结构--甚至是读取和解析特殊文件)

浏览 0提问于2010-11-13得票数 7

1回答

在Eclipse中运行Ear项目

eclipse、maven、jboss6.x

我的团队正在接管一个由3个Maven项目组成的现有web产品:一个用于WAR，一个用于几个EJB，还有一个包含一些JBoss配置文件，并构建一个EAR，其中包含来自其他两个项目的WAR和EJB-JAR。我们使用Eclipse Helios，目前正在使用maven install单独构建项目，并将生成的EAR复制到JBoss AS 6的一个实例中进行测试。

浏览 0提问于2011-03-16得票数 1

回答已采纳

1回答

Shell -如果创建了新文件，请将第二个最新的文件复制到其他地方

file、shell、copy、redhat、monitor

我正在尝试编写一个shell脚本，该脚本将监视文件夹，并在文件本地呈现到网络驱动器时将其复制。这个想法是，当渲染自动进行时，文件将被复制。

浏览 2提问于2014-08-09得票数 0

点击加载更多