为什么clickhouse写入批量记录的速度很慢？

文章/答案/技术大牛

发布

1回答

clickhouse

我使用clickhouse-jdbc将数据写入到clickhouse的分布式"all“表中(3个主机对应3个分片，1个副本)。对于1000000条记录，使用PreparedStatement进行5,000批提交的成本为6280。 ...有没有更好的方法一天插入一亿条记录？

浏览 795提问于2021-07-06得票数 0

4回答

用于大容量插入的缓冲区数据

logging、rabbitmq、clickhouse

每次在我的网站上提出请求时，关于该事件的一些数据都会记录到数据库(Yandex ClickHouse)中。如果插入操作是以至少1000条记录的大小批量进行的，则ClickHouse的执行速度会快得多。在每次请求时，我希望将数据发送到另一台将存储数据的计算机，然后在缓冲区达到一定大小时将其刷新到数据库中。我正在考虑使用RabbitMQ进行消息传递/缓冲，但我不确定它是否是正

浏览 14提问于2017-08-07得票数 0

1回答

我有一个SpringBoot项目，它将从一个数据库中提取大量数据，对其进行某种转换，然后将其插入到PostgreSQL数据库中的一个表中。这个过程将持续数十亿条记录，因此性能是关键。我一直在研究如何找到最好的方法来做到这一点，例如使用ORM或JDBCTemplate。关于批量插入到PostgreSQL中，我经常看到的一件事是COPY命令。我很困惑，因为使用复制需要将数据写入文件中，而当我看到人们说要使用它时，我还没有遇到有人提到如何将数据写入文件的情况

浏览 3提问于2018-12-06得票数 1

1回答

是否可以使用clickhouse-jdbc驱动程序对clickhouse进行批量更新？

jdbc、spring-jdbc、clickhouse

我正在尝试对clickhouse数据库中的一个表进行批量数据更新。我使用这样的驱动程序： <dependency> <artifactId>clickhouse-jdbc<0.1.52</version> </dependency> 问题是当我使用next指令更新表时： jdbcTemp

浏览 130提问于2019-05-03得票数 0

1回答

点击室中的自定义分区

olap、opentsdb、clickhouse

关于clickhouse中的自定义分区，我有几个问题。背景:我正试图在点击屋的顶部建立一个TSDB。我们需要支持非常大的批量写入和复杂的OLAP读取。假设我们按月使用标准分区，并且在clickhouse集群中有20个节点。我想知道来自同一个月的数据都会流向同一个节点，还是clickhouse会做一些内部平衡，并将数据从同一个月转移到多个节点？如果同一个月的所有数据都写入同一个节点，

浏览 1提问于2019-03-07得票数 1

1回答

如何在使用ClickhouseIO时确保每秒插入1次

google-cloud-dataflow、apache-beam、clickhouse、apache-beam-io

我正在使用Apache Beam Java SDK来处理事件并将它们写入Clickhouse数据库。幸运的是，现在已经可以使用了。ClickhouseIO累积元素并批量插入它们，但是由于管道的并行特性，在我的例子中，它仍然导致每秒大量的插入。我经常在Clickhouse中收到"DB::Exception: Too much“或"DB::Exception: Too much queries”。 Clickhouse

浏览 3提问于2020-03-10得票数 0

2回答

可以快速插入300,000条记录的.NET数据提供程序？

.net、sql

我需要数据提供程序，可以插入30万条记录真的很快。有人有什么建议吗？我目前使用的是Microsoft Compact server3.5，运行速度非常慢。我尝试了sqlite，但它的执行速度很慢，因为我不能进行批量插入。

浏览 0提问于2009-07-15得票数 2

4回答

Clickhouse作为时间序列存储器

database、time-series、clickhouse

我只是想知道，在这种情况下，ClickHouse是否可以用来存储时间序列数据:模式，列有："some_entity_id“、”时间戳“、"metric1”、"metric2“、"metric3”、.其中，每个包含度量名称的新列都可以动态地添加到表中，同时使用此度量名添加条目。那么，这个案例能否在Clickhouse中实现呢？UPD:经过一些基准测试后，我们发现ClickHouse写入新数据的

浏览 1提问于2017-02-22得票数 7

回答已采纳

1回答

SQS发布请求速度很慢

php、laravel、amazon-web-services、ubuntu、amazon-sqs

但是，这些请求中的一个经常需要几秒钟才能执行。附加的是来自New Relic的堆栈跟踪。似乎tick()方法(在CURL中)被调用了很多次，秒数堆积起来。你知道为什么会发生这种情况吗？其他思考:由于这些实例位于私有子网中，到SQS上的端点的长请求时间是否可能是与DNS相关的问题？

浏览 1提问于2017-04-24得票数 1

1回答

用于CoreData多到多关系的慢速插入

iphone、ios、core-data

模型A在空状态下开始，而模型B有大约220 k记录(有相当大的索引，但这不应该影响，因为这个模型从来没有更新过)。我面临的问题是:在创建新的实体A之前，应用程序执行一个获取请求，获取实体B的大约2k条记录。然后，应用程序将这些记录设置为即将创建的实体A，然后保存上下文。问题是将2k记录的nsorderedset设置为实体--在iPhone 4S中，iOS 6.0.1的实例大约要花费4秒，而在同一设备

浏览 4提问于2012-12-26得票数 0

回答已采纳

1回答

哪个时间序列数据库支持这些特定需求？

elasticsearch、time-series、influxdb

我们有一个拥有超过十亿每日统计记录的数据库。每个记录都有多个度量标准(m1到m10)，以及几个不可变的标记。我们的数据存储在每天的水平上，大多数时间序列数据库都是针对更细粒度的数据进行优化的。此外，记录和组之间的关系是可变的。我们需要数据库来支持

浏览 5提问于2019-10-23得票数 3

回答已采纳

2回答

Clickhouse Kafka主题加入：

apache-kafka、clickhouse

我的问题来自我在博客/StackOverflow上读到的内容...有两个选项： 1)将它们都流式传输，Clickhouse Kafka引擎/spark流，然后运行join，这在Clickhouse中是不推荐的2)构建一个包含所有列的表，并使用Clickhouse引擎/spark streaming更新相同的入口？任何建议

浏览 22提问于2019-03-06得票数 1

1回答

通过HDMI或USB连接在android上接收音频和视频

java、android、usb、media、hdmi

我对Android开发比较陌生，但我希望在我的手机上接收pc上的音频和视频内容。我正在尝试在我的pc上录制游戏，但没有钱购买硬件录像机，而且我无法进行屏幕捕获和保持可接受的fps。我的想法是将我的屏幕和音频像第二个屏幕一样发送到我的手机上，在那里我的手机将处理保存过程，减少我pc上的cpu负载。我不认为android手机可以接收hdmi输出，但我可以通过android adb库的"pull“命令通过USB接

浏览 0提问于2014-08-24得票数 1

2回答

如何使用servicestack批处理sql调用

c#、sqlite、ormlite-servicestack

我有一个应用程序，它几乎不间断地写入记录以响应系统事件。我正在使用C# ServiceStack Ormlite。我想知道是否有一种简单的方法来批量处理这些插入，这样它就会收集X多个插入，然后在一个事务中写入，而不是一次写入每个插入。这将减少磁盘使用并加快应用程序的速度(其他事情正在进行中)。

浏览 8提问于2019-10-04得票数 1

回答已采纳

1回答

优化海王星批量加载作业？

amazon-neptune

目前，我们有一个自动化引擎在运行，为我们的海王星历史负载排队数十亿个节点/边。数据从Kafka中取出，并将批量CSVs写入S3以启动加载。目前，我上传的文件是在每批从队列中拉出几百万条记录之后。我使用oversubscribe参数，并查看了批量优化的高级文档。我发现我每小时可以得到大约3600万张记录，但希望速度更快。我是否希望输出文件更大？我一次只能运行一个作业，并且我的队列经常被填满65个上限。

浏览 54提问于2021-09-24得票数 0

回答已采纳

3回答

屏幕/标准输出的I/O

c、io

我注意到，在我编写的任何程序中，如果我对监视器(即printf或fprintf (stderr, "..."))进行大量打印，则执行所需的时间会明显变慢。我认为，由于磁盘的物理限制，写入磁盘的速度会很慢。我不确定为什么打印到屏幕上会显著降低程序的运行速度。

浏览 3提问于2012-12-25得票数 3

回答已采纳

5回答

多个小插口在点击室

clickhouse

我在clickhouse中有一个事件表(MergeTree)，并且希望同时运行许多小的插入。但是，服务器会变得过载，没有响应。此外，一些插入件丢失了。在clickhouse错误日志中有很多记录： 01:43:01.668 [ 16 ] <Error> events (Merger): Part 201 61109_20161109_240760_266738我知道我可以对某些类型的事件使用bulk insert。基本上，运行一个包含多个记录的insert，这

浏览 8提问于2016-11-14得票数 15

回答已采纳

1回答

Clickhouse不通过复杂物化视图消费Kafka信息

apache-kafka、materialized-views、clickhouse

TLDR摘要: Clickhouse Kafka engine，物化视图不适用于复杂的select语句.较长版本：我试图使用JSONEachRow通过它的Kafka引擎向Clickhouse发送大量JSON数据点。但是物化视图不能正确地使用流。我有一个用go编写的kafka生产者，它接收来自多个tcp流的数据，并异步写入kafka队列。我第一次遇到瓶颈时，我加快了输入数据的速度(40万点/秒)，我的制作人

浏览 1提问于2019-01-14得票数 2

回答已采纳

1回答

如何使用基于块的处理来处理Spring批量中的项目列表|批量处理块中的项目

spring-batch

我正在尝试实现一个Spring批处理作业，为了处理一个记录，它需要2-3个db调用，这减慢了记录的处理速度(大小为100万).If我使用基于块的处理，它将单独处理每个记录，并且在性能上会很慢。因此，我需要一次处理1000条记录，因为批量处理将减少数据库调用，并提高性能。但我的问题是，如果我实现微线程，那么我将失去可重启性和重试/跳过功能，如果使用AggregateInputReader实现，我不确定对可重启

浏览 5提问于2021-05-28得票数 0

回答已采纳

1回答

Clickhouse DB每天上午10时慢下来，似乎没有任何理由。

database、performance、devops、clickhouse

我有一些Tb数据，但没有大于300 Gb的表。我还没有使用分布式表或复制，我经常写入Clickhouse (但我不使用删除或更新，更喜欢使用ReplacingMergeTree引擎)。现在，几个月来，我一直在经历性能问题，服务器每天上午10点都会慢下来，我不知道为什么。基于Clickhouse内置的石墨监测，该问题的“症状”似乎如下：服务器端的：负载和内存的使用都是合理的。磁盘写入

浏览 9提问于2022-07-20得票数 0

点击加载更多