Bigtable大容量插入

文章/答案/技术大牛

发布

3回答

python、google-cloud-bigtable

我可以使用python在Bigtable中执行批量插入吗？我正在使用下面的方法插入，这是非常慢的。我有数百万行要插入。

浏览 86提问于2017-12-18得票数 2

1回答

nodejs bigtable使用像前缀这样的过滤器复制行

node.js、google-cloud-platform、bigtable、google-cloud-bigtable

是否有可能在Bigtable/nodejs-bigtable中执行类似于createReadStream的操作，但我正在寻找一种在服务器上执行此操作的方法，就像sql中的insert into select

浏览 0提问于2018-04-22得票数 0

2回答

在Google Cloud Bigtable中填充数据需要很长时间

google-cloud-dataflow、google-cloud-bigtable

我使用以下代码将数据填充到Bigtable中： } }else{ }我们有30个Bigtable我知道增加Bigtable节点的数量是其中一个选择，但目前，我正在寻找其他不需要增加节点的选项。

浏览 19提问于2016-08-26得票数 2

1回答

大容量插入期间删除/重新生成索引

sql、sql-server-2005

我有表，其中有超过7000万条记录；我刚刚发现，开发人员在大容量插入之前删除索引，然后在大容量插入结束后再次创建。存储过程的执行时间将近30分钟(执行删除索引，执行大容量插入，然后从头开始重新创建索引)。在大容量插入之前不删除索引有助于提高性能吗？感谢并致以问

浏览 2提问于2011-08-05得票数 3

1回答

使用SQL身份验证时出现批量插入错误

sql-server、ssis、bulkinsert、ssis-2012

使用SQL身份验证时会收到SSIS大容量插入错误，而使用windows身份验证时可以插入数据。大容量插入任务错误:出现以下错误消息：“无法大容量加载，因为文件"C:\BCP\extract_remove_ref.bcp”无法打开。操作系统错误代码3(未能检索此错误的文本。

浏览 1提问于2019-03-18得票数 2

1回答

解决死锁问题

sql、sql-server

数据库A-表中经常发生选择、更新、大容量插入，而且每次大容量插入被选择为死锁受害者时，都会发生严重阻塞，而且由于批量插入失败，我们正在丢失一些数据。SELECT阻止批量插入或UPDATE每次阻塞批量插入，反之亦然，所有这些语句(查询)都来自应用程序。

浏览 2提问于2016-04-20得票数 2

1回答

使用数据流的大表大容量负载太慢

google-cloud-dataflow、google-cloud-bigtable

对于像每3小时20 is的数据文件这样的模式，大容量加载到Bigtable的最佳方法是什么？Dataflow这样做对吗？我们使用数据流批量装载Bigtable的问题是..看起来，Dataflow QPS与Bigtable (5个节点)的QPS不匹配。我试图使用Dataflow将20 to文件加载到bigtable。它要花4小时才能吃进“大桌”。

浏览 8提问于2015-11-25得票数 2

回答已采纳

2回答

如何在oracle中不带before触发器的c#中使用OracleBulkCopy插入序列值

.net、oracle、copy、bulk

在.net中使用Oracle大容量复制，我正在尝试将记录大容量插入到table.if表中，该表包含主键序列列，如何在大容量插入时将值插入主键列。

浏览 2提问于2018-12-29得票数 0

1回答

如何导入文件csv而不使用批量插入查询？

python、mysql、sql、sql-server、csv

我尝试过使用bulk导入文件csv，但是它失败了，还有另一种方法可以在查询中导入csv文件而不使用大容量插入吗？到目前为止，这是我的查询，但它使用大容量插入： 'C:\Inetpub\vhosts\topimerah.org\httpdocs\SNASPV0374280960.

浏览 0提问于2015-06-09得票数 0

回答已采纳

2回答

禁用MongoDB中的主键索引，并在大容量安装后启用它？

java、performance、mongodb、bulkinsert

是否可以在MongoDB中禁用主键索引并在大容量插入后启用它？其原因是在大容量插入时的性能。我在用JAVA。

浏览 5提问于2013-11-03得票数 0

回答已采纳

1回答

SQL -大容量插入和数据类型

sql-server、bulkinsert

今天，我有一个从固定宽度文件中进行的大容量插入，如下所示：FROM 'C:\File.txt' WITH ( ,ROWTERMINATOR = '\n'格式文件只是设置每个字段的宽度，在批量插入到临时表之后，我使用一个INSERT INTOX SELECT FROM temp来转换一些大</em

浏览 4提问于2012-10-24得票数 3

2回答

切分和索引的最佳顺序

mongodb、sharding

应该插入什么顺序，索引和碎片？1)大容量插入数据>碎片>索引2)大容量插入数据>索引>碎片3)切分>批量插入数据>索引

浏览 2提问于2014-06-03得票数 1

回答已采纳

1回答

获取大容量插入期间插入的行的信息。

sql-server、triggers、bulkinsert

我使用大容量插入将信息插入到表中，以加快速度。现在我想在我的桌子上加一个触发器。但是该触发器在每次大容量插入时只运行一次，而我需要知道在最近一次大容量插入期间插入的行是什么。那么，是否有查询来知道在BULK INSERT期间插入的行是什么？

浏览 2提问于2015-08-31得票数 1

2回答

插入bulk语句- SQL 2005 -不是“大容量插入”

sql-server-2005

我已经尝试过将DB设置为大容量日志，而且它似乎还在增长。当进程/进程完成时设置为简单时，它将清除。分析器显示以"Insert Bulk xxxx“开头的语句，我一直在阅读这些语句，但有一件事我无法确定，那就是”插入大容量“日志还是不使用大容量日志设置。有人能告诉我你对“插入大容量”命令的想法吗？

浏览 0提问于2011-04-01得票数 0

1回答

在Server 2008中截断后，批量插入中的重复主键？

sql-server-2008、ssis、bulkcopy

我使用SSIS将SQL Server 2008 prod数据库中的数据转储到平面文件，然后使用大容量插入将这些平面文件加载到Server 2008 dev数据库中。SSIS包在大容量插入之前运行截断表语句，但当我运行它时仍然会收到以下错误：“该语句已终止。违反主键约束。无法插入重复键。”为什么在截断后会有一个重复的键？在大容量插入之前，我还需要做些什么来清除主键吗？

浏览 0提问于2012-08-03得票数 3

回答已采纳

1回答

将数据表大容量插入到MSAccess (MSExcel)数据库(C#)

c#、.net、ms-access、datatable、bulkinsert

我需要向Microsoft数据库(accdb文件)插入大量数据(每个表大约500 of )。你好雅各布。

浏览 4提问于2013-07-22得票数 2

6回答

.NET实体框架插入与大容量插入

c#、.net、entity-framework

它是只循环执行插入到xxx，还是如果有数百行，它是否足够明智地发出一个大容量插入命令？额外的问题:如果它不发出大容量插入，是否有方法强制它这样我的DB性能就不会被单独的插入所破坏？还是大容量到临时表，然后像Upsert一样合并到原始表？

浏览 5提问于2013-06-12得票数 11

回答已采纳

1回答

如何大容量插入SQLAlchemy子类(联合继承)

python、sqlalchemy

我试图将SQL-Alchemy子类大容量插入到父表及其相应的表中，即水果表、-> Apple，因此我插入了一个APPLE的表，它将将这两个行插入到水果表中，然后给我水果表中该行的id，并将其放在Apple每次插入一行时使用，但由于性能原因，我需要它与大容量插入一起工作。我尝试过大容量插入失败，并且尝试了单行插入，但是问题是，除了自动生成的行的id之外，这个数据实际上并不是唯一

浏览 0提问于2019-07-18得票数 0

回答已采纳

1回答

大表与大查询对timeseries数据的使用

google-bigquery、bigtable、google-cloud-bigtable

我希望在大表和大查询上最后确定我对timeseries数据的使用。我经历过什么可以作为大桌子的行键？我相信，使用该表中的其他字段(如visitorkey )，作为带有时间戳的前缀的cookieid I(长I)仍然会导致整个数据填充Bigtable中的一个节点，而不是分发。请让我知道。

浏览 2提问于2018-09-18得票数 6

回答已采纳

1回答

在“大容量日志恢复模型”中，“散装”的技术含义是什么?为什么是这个名称？

sql-server、terminology、recovery-model

在该模型中，存在某些批量操作，如批量插入、创建索引、选择INTO等。在事务日志中没有完全记录，因此在事务日志中占用的空间不多。据我所知，大容量日志恢复模型并不能完全记录大量事务。那为什么它是这样命名的？

浏览 0提问于2018-10-10得票数 0

点击加载更多