问配置单元查询结果的JSON输出格式

EN

这似乎是经常出现的。使用Brickhouse (http://github.com/klout/brickhouse )的to_json UDF。如果您将结果转换为named_struct，它会将其解释为JSON映射，并相应地输出。

SELECT to_json( named_struct( "field1", field1 ,
            "field2", field2,
            "field3", field3 ) )
   FROM mytable;

to_json还将相应地解释数组和映射。

我使用的是一个叫做Apache Nifi的工具。它有AvrotoJSON处理器。Avro格式的配置单元输出可以很容易地转换为JSON。下面的链接会很有帮助：https://nifi.apache.org/

最简单的方法是首先存储为tsv，然后使用spray等库将其转换为JSON。

只要你不想做太多的定制，Hive就能工作得很好。如果你有权访问集群中的Spark，请使用SparkSQL而不是Hive。您的查询结果将被存储到一个SchemaRDD中，假设您已经在您的作用域中导入了spray，那么您可以从那里轻松地映射到一个JSon doing .map(_.toJson)。