Spark + HAWQ集成(HDP 2.4.2)
Spark + HAWQ集成(HDP 2.4.2)
提问于 2016-10-18 06:41:05
我正在使用HDP 2.4.2，我想连接星火与HAWQ的数据摄取。
如果有任何推荐的/正确的方法，请让我知道，目前我正在使用母版jdbc驱动程序来连接星火和HAWQ。我面临着这样的问题
如果表不存在，-DataFrame会在HAWQ中自动创建表。
-Records摄入太慢了。
-Intermittently正在显示诸如"org.postgresql.util.PSQLException: ERROR: relation "table_name" already exists"之类的错误。
回答 1
Stack Overflow用户
回答已采纳
发布于 2016-10-18 12:43:30
请参阅本示例Scala项目，通过Spark：https://github.com/kdunn926/sparkHawq读取HAWQ数据。
如果您希望用HAWQ读取Spark生成的数据，您最好的选择是从Spark写入HDFS，并使用PXF读取HAWQ。参见这里的文档：http://hdb.docs.pivotal.io/200/hawq/pxf/PivotalExtensionFrameworkPXF.html
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/40101231
复制相关文章
相似问题
腾讯云开发者
