我有一个spark流上下文从kafka读取事件数据的时间间隔为10秒。我想用postgres表中的现有数据来补充这个事件数据。
我可以用如下内容加载postgres表:
val sqlContext = new SQLContext(sc)
val data = sqlContext.load("jdbc", Map(
"url" -> url,
"dbtable" -> query))
..。
val broadcasted = sc.broadcast(data.collect())
然后我可以像这样跨过它:
val db