对于我们的近实时分析,数据将被传输到pubsub中,Apache波束数据流管道将先写入bigquery进行处理,然后再从bigquery读取数据集,然后将聚合结果存储在Hbase中,用于OLAP多维数据集计算下面是用于从bigquery获取记录的示例ParDo函数
String eventInsertedQuery="Select count(*) as usercount from <tablename>whe
我有一个要求,我需要创建一个数据流作业,该作业将通过过滤将作为json数据一部分的属性的消息,将数据从Google PubSub主题传输到BigQuery表。使用谷歌提供的模板,我可以使用谷歌提供的"PubSub to BigQuery“模板,但这不允许对数据进行过滤。
有办法定制模板"PubSub到Bigquery“吗?