在阅读了这个文章之后,我决定尝试构建一个数据摄入管道。一切都很好。我能够发送数据到事件中心,这是由流分析和发送到数据湖。但是,对于一些我觉得奇怪的事情,我有几个问题要问。如果有一个比我更有经验的人能够回答我,我将不胜感激。
这里是我的流分析中的SQL
SELECT
*
INTO
[my-data-lake]
FROM
[my-event-hub]
现在,关于以下问题:
也许我在我的问题上采取了一种糟糕的方法,但我在(谷歌的NoSQL解决方案)中有一个巨大的数据集。我只能访问Datastore,拥有一个权限有限的帐户。我需要把这些数据存储在数据湖上。因此,我创建了一个应用程序,将数据从Datastore流到事件中心,该应用程序是由streams接收的,它将数据湖中的文件记录下来。这是我第一次使用这三种技术,但似乎是最好的解决方案。这是我的选择-替代ETL混乱。
我很抱歉提出了这么多问题。我希望有人能帮我。
提前谢谢。
发布于 2018-01-14 09:28:30
我只会回答文件方面的问题:
https://stackoverflow.com/questions/48236647
复制相似问题