批量插入和INSERT and with CrateDB

文章/答案/技术大牛

发布

1回答

sql、cratedb

我想要插入大量的数据，我应该使用什么:单个insert into语句，还是必须使用批量插入？还有别的事吗？我问这个问题的原因是，我的CrateDB节点的磁盘平均只以11kb/s的速度繁忙，而使用单次插入的磁盘负载是100%！谢谢!

浏览 15提问于2017-01-15得票数 0

回答已采纳

1回答

您是否可以在具有对象列数组的表中在crateDB中进行大容量导入？

cratedb

所以我运行CrateDB 3.3.3，我有一个表，它有一列类型为数组的对象 CREATE TABLE IF NOT EXISTS "doc"."123},{"min"=0,"max"=1,"avg"=0.5,"eventconditiondefid"=456}]); 但是，在我的应用程序中，我通过HTTP端点将数据批量插入到CrateDB中。谁能告诉我如何使用这些类型的列进行批量插入</e

浏览 11提问于2019-06-28得票数 0

回答已采纳

1回答

如何在CrateDB中使用python执行大容量插入？

python、bulkinsert、crate、executemany、cratedb

我试图在CrateDB中使用python进行批量插入。该命令executemany并不真正执行大容量插入，与使用pyodbc的Server执行的方式一样。

浏览 2提问于2018-03-07得票数 1

回答已采纳

2回答

如何在使用Python Pandas to_sql()将错误行批量插入到crateDB中时引发异常

python-3.x、pandas、cratedb

我使用以下命令将数据批量插入到crateDB中 pandas.to_sql(tableId, 'crate://xxxxxxx:4200', if_exists='append', index=False这会在插入时导致类型转换错误。当我将to_sql()的chunksize参数设置为1时，就会抛出一个异常，我可以捕捉到这个问题。当chunksize >0时，to_sql()只是继续，并且我不能确保数据被正确插入。我遗漏了什么，解决这个

浏览 51提问于2021-08-31得票数 0

回答已采纳

1回答

timeseries插入性能

cratedb

我尝试将一堆数据从我的SCADA系统加载到CrateDB (4年，多个CSV文件，大约87 of，大约数十亿个数据点/行)。在我的系统中，我只能每秒钟加载大约1500值(8GB内存、4GB堆、RAID 10和5x7k磁盘)。对于线程，我使用JDBC连接池org.apache.commons.dbcp2.BasicDataSource；如何提高CrateDB的书写速

浏览 0提问于2017-07-30得票数 0

1回答

如何调整cratedb以获得每秒40000次插入，如官方网站中所述

crate

我正在对cratedb进行基准测试，每个记录有40列，记录大小在300字节到1kb之间变化。在python客户端上使用cratedb 1.0.1。具有16个CPU和32 16的计算机。提前感谢

浏览 5提问于2017-01-10得票数 0

1回答

在camelCase崩溃和JDBC中的CrateDB列名

java、sql、database、jdbc、crate

CrateDB允许对象列有大写或骆驼大小写属性名称吗？我有一张这样的桌子： age integer, attrs object使用insert语句：cr> select * from objecttest; +-----+----------------------------------------

浏览 2提问于2016-12-14得票数 0

回答已采纳

1回答

当升级到机箱:4.3.4(从机箱:4.2.7)时，机箱数据库表会导致错误

java、sql、elasticsearch、crate、cratedb

在还原快照或将cratedb从4.2.7升级到更高版本时面临以下错误CREATE TABLE IF NOT EXISTS TABLE_NAME ( "field1" STRING NOT NULL

浏览 10提问于2021-09-15得票数 1

回答已采纳

4回答

为什么批量插入/更新更快？批量更新是如何工作的？

sql、rdbms

为什么批量插入更快？是不是因为插入单行的连接和设置开销对于一组行是相同的？还有什么其他因素使得批量插入速度更快？批量更新是如何工作的？假定表没有唯一性约束，insert语句实际上对批处理中的其他insert语句没有任何影响。但是，在批量更新期间，update可能会改变表的状态，因此会影响批处理中其他update查询的结果。我知道batch insert查询的语法是在一个大查询中包含所有的i

浏览 0提问于2009-06-17得票数 49

4回答

Pymongo批量插入

python、mongodb、pymongo

我正在尝试批量插入文档。但它在大容量插入期间插入的文档不会超过84个。给我这个错误：是否可以进行批量插入，比如每次插入50

浏览 0提问于2014-02-03得票数 5

2回答

mongodb大容量更新/插入

mongodb、mongodb-java

我们通过heroku/mongolab运行mongo-2.4，它不支持2.6的生产 // 1.Ordered bulk operationbuilder.insert(new BasicDBObject("_id", 1)); builder.insert(new BasicDB

浏览 2提问于2014-08-04得票数 0

回答已采纳

2回答

MongoDB:大容量插入(Bulk.insert) vs插入多个( insert* ([...]))*

mongodb

和有什么区别吗？var bulk = db.items.initializeUnorderedBulkOp();bulk.insert( { item: "ijk123", defaultQty: 200, status: "A", points: 200 } );bulk.insert(

浏览 1提问于2016-01-31得票数 31

回答已采纳

2回答

SQL:如何通过t-sql脚本移植sql server数据库？

sql、sql-server、tsql、ssms

我希望有这样的脚本：INSERT INTO ... VALUES(...)...

浏览 3提问于2011-06-15得票数 1

1回答

火花JDBC“批大小”对插入的影响

apache-spark、spark-jdbc

我想知道batchsize选项对使用spark的insert操作有什么影响。这是否意味着使用一个类似于批量插入的insert命令或一批最终提交的insert命令进行批量插入？

浏览 2提问于2021-11-24得票数 1

回答已采纳

1回答

有什么更好的方法来检查JdbcTemplate.batchUpdate中名称字段和表的SQL注入？

java、spring、jdbc

在insert查询中，我使用序列，因此我拒绝使用SimpleJdbcInsert....executeBatch(数据)；//... add values of records to recordValues list // run bash update for insert插入大量记录。来测试SQL注入中的

浏览 1提问于2015-08-07得票数 0

2回答

如何在laravel 4中批量更新

php、mysql、laravel、laravel-4、eloquent

嗨，我想知道我怎样才能在laravel 4中进行批量更新，而不是用块循环和更新呢？$invoiceitem->insert($items_array);

浏览 7提问于2014-05-27得票数 6

回答已采纳

2回答

使用insert()并执行批量插入似乎不会触发到Algolia的insert* with scout*

laravel、laravel-5、laravel-scout

我在Laravel中进行批量插入，如下所示 [ 'value' => '123',], 'name' => 'def', ], /&#x

浏览 5提问于2018-01-24得票数 2

回答已采纳

2回答

Pymongo批量插入不起作用

mongodb、collections、mongodb-query、pymongo、bulkinsert

我正在学习批量插入的教程。但是，我得到了下面列出的错误。我遗漏了什么？client = MongoClient('localhost', 27017) self.db_handle.insert_manyIf you meant to call the 'insert_many' method on a 'Collection' object it is failing b

浏览 3提问于2015-03-14得票数 5

3回答

Crate是关系DB吗？

database、relational-database、crate、nosql

尤其是我被这样的感觉弄糊涂了：来自

浏览 5提问于2016-12-08得票数 2

回答已采纳

3回答

插入还是更新？

mysql、sql、performance

有两种方法可以做到这一点，正如我想做的那样：这里我们可以采用第二种方法： 2)单线程可以使用假数据进行批量插入，除了自动递增的ID外，完全为

浏览 3提问于2017-03-18得票数 0

点击加载更多