首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >如何从.Thrift文件的结构对象创建struct

如何从.Thrift文件的结构对象创建struct
EN

Stack Overflow用户
提问于 2018-08-14 15:04:46
回答 1查看 364关注 0票数 0

我试过了

val temp = Seq[ProcessAction]()  // ProcessAction is declared in Thrift
val toDF = temp.toDF()

scala.ScalaReflectionException:无是一个术语

如果我使用case类对象而不是ProcessAction,我可以获得DataFrame...

有什么方法可以消除这个错误吗??

EN

回答 1

Stack Overflow用户

发布于 2018-08-15 07:28:28

拼图文件可以识别Thrift编码的对象,因此您可以使用ThriftParquetWriter加载拼图文件,然后使用Spark SQL或其他工具将这些对象放入DataFrame。

https://github.com/apache/parquet-mr/blob/master/parquet-thrift/src/main/java/org/apache/parquet/thrift/ThriftParquetWriter.java

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/51835556

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档