描述
Spark 支持直接从文件查询数据,可以通过文件路径直接访问 Parquet 等格式的数据。
示例
-- 创建PARQUET文件外表CREATE EXTERNAL TABLE file_test_parquet (id INT, name STRING, age INT)USING PARQUET LOCATION 'cosn://<your_cos_bucket>/test_file/file_test_parquet'-- 写入数据INSERT INTO file_test_parquet VALUES (1,'Alice',25),(2,'Bob',30),(3,'Charlie',35)-- 查询该文件路径SELECT * FROM parquet.`cosn://<your_cos_bucket>/test_file/file_test_parquet`-- COUNT on file-based tableSELECT COUNT(*) FROM file_test_parquet--WHERE filter on file-based tableSELECT * FROM file_test_parquet WHERE age > 28