我正在为apache-spark的数据存储数据源工作,基于spark数据源V2应用编程接口。我可以使用硬编码的单个实体来实现,但是不能泛化它。我需要推断实体模式并将实体记录转换为Spark Row,或者将实体记录读取为json并让用户转换为scala产品(数据存储java客户端是基于REST的,因此有效负载是作为json提取的)。我可以在IntelliJ调试器中看到"entity.properties“作为json键值,它包含了我需要的所有内容(列名、值、类型等)。但是由于访问限制,我不能使用entity.properties。感谢你的任何想法。
发布于 2018-10-23 04:22:58
切换到低级接口https://github.com/GoogleCloudPlatform/google-cloud-datastore修复
spark-datastore-connector https://github.com/sgireddy/spark-datastore-connector的完整源代码
https://stackoverflow.com/questions/52868609
复制相似问题