scala集合的数据集编码器
scala集合的数据集编码器
提问于 2017-07-11 13:29:18
尝试从s3读取数据集时会出现异常。公司案例类包含带有员工案例类别的集合。
Exception in thread "main" java.lang.UnsupportedOperationException: No Encoder found for Set[com.model.company.common.Employee]
- field (class: "scala.collection.immutable.Set", name: "employees")
- field (class: "com.model.company.Company", name: "company")我和克里奥试过：
隐式def myDataEncoderT: Encoder[SetEmployee] =
但也不起作用。您知道如何将scala集合转换为dataset吗？
代码：
val sqlContext = sparkSession.sqlContext导入sqlContext.implicits._ val records =sparkSession.sqlContext
回答 1
Stack Overflow用户
发布于 2017-07-13 14:33:51
从列表中更改，设置-> Seq
有关数据集数据类型的更多信息，请在这里找到：https://spark.apache.org/docs/latest/sql-programming-guide.html#data-types
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/45035986
复制相关文章
相似问题
腾讯云开发者
