文件查询

最近更新时间:2026-05-20 14:11:22

我的收藏

描述

Spark 支持直接从文件查询数据,可以通过文件路径直接访问 Parquet 等格式的数据。

示例

-- 创建PARQUET文件外表
CREATE EXTERNAL TABLE file_test_parquet (id INT, name STRING, age INT)
USING PARQUET LOCATION 'cosn://<your_cos_bucket>/test_file/file_test_parquet'

-- 写入数据
INSERT INTO file_test_parquet VALUES (1,'Alice',25),(2,'Bob',30),(3,'Charlie',35)

-- 查询该文件路径
SELECT * FROM parquet.`cosn://<your_cos_bucket>/test_file/file_test_parquet`

-- COUNT on file-based table
SELECT COUNT(*) FROM file_test_parquet

--WHERE filter on file-based table
SELECT * FROM file_test_parquet WHERE age > 28