大数据时代时序数据库选型指南：为何 Apache IoTDB 成优选（含实操步骤）

# 进入IoTDB安装目录的bin文件夹
cd /opt/iotdb-1.2.2-all-bin/bin
# 启动CLI（默认用户名root，密码root）
./start-cli.sh -h 127.0.0.1 -p 6667 -u root -pw root

-- 创建模板：车间A的机械臂设备，包含温度、振动、电压3个传感器
CREATE SCHEMA TEMPLATE template_robot_arm (
  temperature FLOAT,  -- 温度（浮点型）
  vibration DOUBLE,  -- 振动（双精度）
  voltage INT        -- 电压（整型）
);

-- 将模板应用到设备节点（根→工业→车间A→机械臂）
SET SCHEMA TEMPLATE template_robot_arm TO root.industry.workshop_a.robot_arm.*;

-- 写入数据：机械臂1在2024-10-01 08:00:00的传感器值
INSERT INTO root.industry.workshop_a.robot_arm.robot_001 (
  time, temperature, vibration, voltage
) VALUES (
  1696128000000, 38.5, 0.25, 220  -- time支持时间戳（毫秒）或字符串（'2024-10-01 08:00:00'）
);

# 进入IoTDB配置目录
cd /opt/iotdb-1.2.2-all-bin/conf
# 编辑存储配置文件
vim iotdb-engine.properties

# 内存层：保留最近1小时热数据（单位：ms）
tsfile.storage.level.memory.timewindow=3600000
# SSD层：保留最近30天温数据（单位：ms）
tsfile.storage.level.ssd.timewindow=2592000000
# HDD层：保留最近335天冷数据（单位：ms）
tsfile.storage.level.hdd.timewindow=289056000000
# 数据总保留时间：1年（超过自动删除，单位：ms）
tsfile.retention.time=31536000000

# 停止服务
./stop-server.sh
# 启动服务
./start-server.sh

-- 查询机械臂1的温度数据存储层级
SELECT storage_level, count(*) 
FROM root.industry.workshop_a.robot_arm.robot_001.temperature
WHERE time >= 1696128000000
GROUP BY storage_level;

-- 查询2024-10-01全天，车间A所有机械臂的高温数据（温度>40℃）
SELECT time, temperature, vibration 
FROM root.industry.workshop_a.robot_arm.* 
WHERE 
  time BETWEEN '2024-10-01 00:00:00' AND '2024-10-01 23:59:59' 
  AND temperature > 40.0
ORDER BY time DESC;  -- 按时间倒序，优先看最新异常

-- 计算机械臂1在2024-10-01的每小时平均振动值，筛选出振动超标的时段（>0.3）
SELECT 
  date_trunc('hour', time) AS hour,  -- 按小时截断时间
  AVG(vibration) AS avg_vibration   -- 计算每小时平均值
FROM root.industry.workshop_a.robot_arm.robot_001
WHERE time BETWEEN '2024-10-01 00:00:00' AND '2024-10-01 23:59:59'
GROUP BY hour
HAVING AVG(vibration) > 0.3;  -- 筛选超标时段

-- 计算2024-10-01，车间A和车间B机械臂的电压达标率（210-230V为达标）
SELECT 
  device, 
  (COUNT(CASE WHEN voltage BETWEEN 210 AND 230 THEN 1 END) * 100.0) / COUNT(*) AS qualified_rate
FROM (
  -- 子查询：合并两个车间的设备数据
  SELECT 'workshop_a' AS device, voltage FROM root.industry.workshop_a.robot_arm.*
  UNION ALL
  SELECT 'workshop_b' AS device, voltage FROM root.industry.workshop_b.robot_arm.*
) AS all_devices
WHERE time BETWEEN '2024-10-01 00:00:00' AND '2024-10-01 23:59:59'
GROUP BY device;

-- 创建定时任务：每5分钟执行一次异常检测
CREATE SCHEDULED TASK task_fault_detection
EVERY 5 MINUTE  -- 执行频率：5分钟
BEGIN
  -- 将异常数据写入预警表（若表不存在自动创建）
  INSERT INTO root.industry.alarm.fault_record (
    time, device_id, temperature, vibration, alarm_type
  )
  SELECT 
    time, 
    device_path AS device_id,  -- 设备路径（如root.industry.workshop_a.robot_arm.robot_001）
    temperature, 
    vibration,
    CASE 
      WHEN temperature > 45 THEN 'OVER_TEMPERATURE'
      WHEN vibration > 0.5 THEN 'OVER_VIBRATION'
      ELSE 'NONE'
    END AS alarm_type
  FROM root.industry.workshop_a.robot_arm.*
  WHERE 
    time >= NOW() - INTERVAL 5 MINUTE  -- 只查最近5分钟数据
    AND (temperature > 45 OR vibration > 0.5);
END;

-- 查询2024-10-01全天的故障预警统计（按设备类型分组）
SELECT 
  SUBSTRING(device_id, -8) AS device_short_id,  -- 截取设备编号后8位（如robot_001）
  alarm_type,
  COUNT(*) AS alarm_count,
  MIN(time) AS first_alarm_time,
  MAX(time) AS last_alarm_time
FROM root.industry.alarm.fault_record
WHERE time BETWEEN '2024-10-01 00:00:00' AND '2024-10-01 23:59:59'
GROUP BY device_short_id, alarm_type
ORDER BY alarm_count DESC;

-- 创建变电站负荷模板（含电流、电压、功率3个字段）
CREATE SCHEMA TEMPLATE template_substation (
  current FLOAT,  -- 电流（A）
  voltage INT,    -- 电压（kV）
  power DOUBLE    -- 功率（MW）
);
-- 应用到所有变电站节点（根→能源→电网→变电站）
SET SCHEMA TEMPLATE template_substation TO root.energy.power_grid.substation.*;

from iotdb.Session import Session
import random
import time

# 1. 建立IoTDB连接
session = Session("127.0.0.1", 6667, "root", "root")
session.open(False)

# 2. 模拟10个变电站的负荷数据（每5秒写入1次，持续1分钟）
substation_ids = [f"sub_{i:04d}" for i in range(1, 11)]  # 变电站编号：sub_0001~sub_0010
start_time = time.time() * 1000  # 起始时间戳（毫秒）

for t in range(0, 12):  # 12次写入（5秒/次，共60秒）
    current_time = start_time + t * 5000
    for sub_id in substation_ids:
        # 模拟负荷数据（峰时功率高，谷时功率低）
        hour = time.localtime(current_time / 1000).tm_hour
        if 8 <= hour <= 12 or 18 <= hour <= 22:
            power = random.uniform(80, 120)  # 峰时功率：80-120MW
        elif 0 <= hour < 6:
            power = random.uniform(30, 60)   # 谷时功率：30-60MW
        else:
            power = random.uniform(60, 80)   # 平时功率：60-80MW
        
        # 构造数据并写入
        device_path = f"root.energy.power_grid.substation.{sub_id}"
        measurements = ["current", "voltage", "power"]
        values = [random.uniform(1000, 1500), random.randint(110, 220), power]
        data_types = ["FLOAT", "INT", "DOUBLE"]
        
        session.insert_record(device_path, current_time, measurements, data_types, values)
    
    print(f"已写入第{t+1}次数据，时间：{time.ctime(current_time/1000)}")
    time.sleep(5)  # 间隔5秒

# 3. 关闭连接
session.close()

-- 分析2024-10-01各时段的平均负荷（峰/平/谷划分）
SELECT 
  CASE 
    WHEN EXTRACT(HOUR FROM time) BETWEEN 8 AND 12 OR EXTRACT(HOUR FROM time) BETWEEN 18 AND 22 
      THEN 'PEAK'  -- 峰时：8-12时、18-22时
    WHEN EXTRACT(HOUR FROM time) BETWEEN 0 AND 6 
      THEN 'VALLEY'  -- 谷时：0-6时
    ELSE 'FLAT'     -- 平时：其他时段
  END AS time_period,
  AVG(power) AS avg_power,  -- 平均功率
  MAX(power) AS max_power,  -- 最大功率
  MIN(power) AS min_power,  -- 最小功率
  COUNT(DISTINCT device_path) AS substation_count  -- 参与统计的变电站数量
FROM root.energy.power_grid.substation.*
WHERE time BETWEEN '2024-10-01 00:00:00' AND '2024-10-01 23:59:59'
GROUP BY time_period
ORDER BY avg_power DESC;

-- 创建加密货币行情模板（含开盘价、收盘价、最高价、最低价、成交量）
CREATE SCHEMA TEMPLATE template_crypto (
  open FLOAT,   -- 开盘价
  close FLOAT,  -- 收盘价
  high FLOAT,   -- 最高价
  low FLOAT,    -- 最低价
  volume INT    -- 成交量
);
-- 应用到比特币、以太坊两个交易对
SET SCHEMA TEMPLATE template_crypto TO root.finance.crypto.{btc_usdt, eth_usdt};

-- 1. 创建IoTDB源表（读取实时行情数据）
CREATE TABLE crypto_source (
  device_path STRING,  -- 设备路径（如root.finance.crypto.btc_usdt）
  time TIMESTAMP(3),   -- 时间戳（毫秒）
  open FLOAT,
  close FLOAT,
  high FLOAT,
  low FLOAT,
  volume INT,
  WATERMARK FOR time AS time - INTERVAL '1' SECOND  -- 水位线：延迟1秒
) WITH (
  'connector' = 'iotdb',
  'url' = 'jdbc:iotdb://127.0.0.1:6667/',
  'username' = 'root',
  'password' = 'root',
  'device.path' = 'root.finance.crypto.*',  -- 读取所有加密货币节点
  'measurements' = 'open,close,high,low,volume',
  'timestamp.column' = 'time'
);

-- 2. 计算分钟级K线（按交易对和分钟分组）
CREATE TABLE crypto_1min_kline (
  symbol STRING,        -- 交易对（如btc_usdt）
  window_start TIMESTAMP(3),  -- 窗口起始时间
  open FLOAT,
  close FLOAT,
  high FLOAT,
  low FLOAT,
  volume INT,
  PRIMARY KEY (symbol, window_start) NOT ENFORCED  -- 主键：交易对+窗口时间
) WITH (
  'connector' = 'iotdb',
  'url' = 'jdbc:iotdb://127.0.0.1:6667/',
  'username' = 'root',
  'password' = 'root',
  'device.path' = 'root.finance.crypto_kline.{symbol}',  -- 写入K线节点
  'measurements' = 'open,close,high,low,volume',
  'timestamp.column' = 'window_start'
);

-- 3. 插入K线数据（滚动窗口：1分钟）
INSERT INTO crypto_1min_kline
SELECT 
  SUBSTRING_INDEX(device_path, '.', -1) AS symbol,  -- 从设备路径提取交易对（如btc_usdt）
  TUMBLE_START(time, INTERVAL '1' MINUTE) AS window_start,  -- 1分钟滚动窗口
  FIRST_VALUE(open) AS open,    -- 开盘价：窗口内第一条数据
  LAST_VALUE(close) AS close,   -- 收盘价：窗口内最后一条数据
  MAX(high) AS high,            -- 最高价：窗口内最大值
  MIN(low) AS low,              -- 最低价：窗口内最小值
  SUM(volume) AS volume         -- 成交量：窗口内总和
FROM crypto_source
GROUP BY 
  SUBSTRING_INDEX(device_path, '.', -1), 
  TUMBLE(time, INTERVAL '1' MINUTE);  -- 按交易对和窗口分组

-- 查询比特币（btc_usdt）2024-10-01 09:00-10:00的分钟级K线
SELECT 
  window_start AS kline_time,
  open, close, high, low, volume
FROM root.finance.crypto_kline.btc_usdt
WHERE 
  window_start BETWEEN '2024-10-01 09:00:00' AND '2024-10-01 10:00:00'
ORDER BY window_start ASC;

# 1. 下载最新版IoTDB（1.2.2版本为例）
wget https://iotdb.apache.org/zh/Download/files/apache-iotdb-1.2.2-all-bin.zip -O iotdb-1.2.2.zip

# 2. 解压到/opt目录
unzip iotdb-1.2.2.zip -d /opt/
# 重命名目录（简化路径）
mv /opt/apache-iotdb-1.2.2-all-bin /opt/iotdb-1.2.2

# 编辑核心配置文件
vim /opt/iotdb-1.2.2/conf/iotdb-engine.properties

# 关键参数调整（根据服务器配置修改，示例：8核16GB服务器）
# 1. 内存分配（建议为物理内存的50%）
system_memory_size=8G
# 2. 写入线程数（建议为CPU核心数的2倍）
write_thread_pool_size=16
# 3. 查询线程数（建议为CPU核心数的1倍）
query_thread_pool_size=8
# 4. 开启批量写入优化
enable_batch_write=true
# 5. 开启压缩（默认开启，确认参数）
enable_compression=true

# 1. 启动IoTDB服务
cd /opt/iotdb-1.2.2/bin
./start-server.sh

# 2. 验证服务是否启动成功（查看端口6667是否监听）
netstat -tulpn | grep 6667
# 若输出类似 "tcp6       0      0 :::6667                 :::*                    LISTEN      12345/java" 则启动成功

# 3. 连接CLI客户端
./start-cli.sh -h 127.0.0.1 -p 6667 -u root -pw root
# 成功连接后，输入 "SHOW STORAGE GROUP;" 应返回空列表（无存储组时）

# 1. 手动备份数据（备份所有存储组）
./iotdb-cli.sh -h 127.0.0.1 -p 6667 -u root -pw root -e "BACKUP TO '/opt/iotdb_backup/20241001'"

# 2. 恢复数据（从备份目录恢复）
./iotdb-cli.sh -h 127.0.0.1 -p 6667 -u root -pw root -e "RESTORE FROM '/opt/iotdb_backup/20241001'"

# 3. 配置自动备份（添加定时任务）
crontab -e
# 添加以下内容（每天凌晨2点自动备份）
0 2 * * * /opt/iotdb-1.2.2/bin/iotdb-cli.sh -h 127.0.0.1 -p 6667 -u root -pw root -e "BACKUP TO '/opt/iotdb_backup/$(date +\%Y\%m\%d)'"