前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【BIGDATA】CSV文件导入到ClickHouse

【BIGDATA】CSV文件导入到ClickHouse

作者头像
BH8ANK
发布2022-05-12 14:31:01
2.1K0
发布2022-05-12 14:31:01
举报
文章被收录于专栏:云技术分享

最近遇到给ClickHouse灌注测试数据的场景。方法多种多样,此处提供一种思路。

文件准备

代码语言:javascript
复制
[root@VM-16-48-centos ~]# cat a.csv
2,liudehua
2,chenguanxi
3,bh8ank
4,bh8ank
5,bh8ank
6,bh8ank
7,bh8ank
8,bh8ank
[root@VM-16-48-centos ~]# 

现有csv文件,内容格式如上。

库表准备

代码语言:javascript
复制
192.168.16.16 :) create database DDD on cluster default_cluster;

CREATE DATABASE DDD ON CLUSTER default_cluster

┌─host──────────┬─port─┬─status─┬─error─┬─num_hosts_remaining─┬─num_hosts_active─┐
│ 192.168.16.15 │ 9000 │      0 │       │                   1 │                0 │
│ 192.168.16.16 │ 9000 │      0 │       │                   0 │                0 │
└───────────────┴──────┴────────┴───────┴─────────────────────┴──────────────────┘

2 rows in set. Elapsed: 0.112 sec. 

192.168.16.16 :) CREATE TABLE DDD.test (id int,name varchar(255)) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/test', '{replica}')ORDER BY(id);

CREATE TABLE DDD.test
(
    `id` int,
    `name` varchar(255)
)
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/test', '{replica}')
ORDER BY id

Ok.

0 rows in set. Elapsed: 0.031 sec. 

192.168.16.16 :) 
192.168.16.16 :) 

 将CSV文件插入

代码语言:javascript
复制
[root@VM-16-48-centos ~]# cat a.csv | clickhouse-client --host=172.16.0.72 --port=9000 --user=yourusername --password=yourpassword --query="INSERT INTO DDD.test FORMAT CSV"
[root@VM-16-48-centos ~]# 

数据检查

代码语言:javascript
复制
192.168.16.15 :) 
192.168.16.15 :) 
192.168.16.15 :) 
192.168.16.15 :) 
192.168.16.15 :) select * from DDD.test;

SELECT *
FROM DDD.test

┌─id─┬─name───────┐
│  2 │ liudehua   │
│  2 │ chenguanxi │
│  3 │ bh8ank     │
│  4 │ bh8ank     │
│  5 │ bh8ank     │
│  6 │ bh8ank     │
│  7 │ bh8ank     │
│  8 │ bh8ank     │
└────┴────────────┘

8 rows in set. Elapsed: 0.006 sec. 

192.168.16.15 :) 
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-05-11,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 文件准备
  • 库表准备
  •  将CSV文件插入
  • 数据检查
相关产品与服务
文件存储
文件存储(Cloud File Storage,CFS)为您提供安全可靠、可扩展的共享文件存储服务。文件存储可与腾讯云服务器、容器服务、批量计算等服务搭配使用,为多个计算节点提供容量和性能可弹性扩展的高性能共享存储。腾讯云文件存储的管理界面简单、易使用,可实现对现有应用的无缝集成;按实际用量付费,为您节约成本,简化 IT 运维工作。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档