构建智慧医疗数据湖 - 腾讯云开发者社区

文章/答案/技术大牛

发布

7回答

大数据时代下的智慧城市究竟有着怎样的未来？

大数据、智慧城市

现如今随着城市扩张和人口流动的加快，作为IBM公司提出“智慧地球”概念的延伸“智慧城市”成为人们对于城市未来的新展望，而大数据时代下的智慧城市究竟有着怎样的未来？

浏览 1024提问于2018-05-03

7回答

Hadoop Vs数据湖

hadoop、data-warehouse、data-lake

我听说了数据湖这个新名词。我在谷歌上查到了数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和数据<

浏览 8提问于2016-03-14得票数 16

2回答

从数据湖中检索数据到分析系统

hadoop、bigdata、analytical

我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？

浏览 16提问于2018-10-04得票数 0

2回答

如何处理数据湖vs数据仓库中的历史化数据？

data-warehouse、data-lake

在传统数据仓库中实现数据历史化是可能的(甚至是核心功能)。随着时间的推移，数据将被添加到数据仓库中，并且可以在数据中及时移动。如果我只想使用数据湖，并为业务用户提供数据历史化，这可能吗？

浏览 36提问于2020-11-30得票数 0

回答已采纳

2回答

从头开始建数据湖

hadoop、data-warehouse、data-lake

我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。

浏览 1提问于2019-02-27得票数 2

回答已采纳

1回答

在AWS中，具有HDFS或S3的数据池之间有什么区别？

amazon-s3、amazon-ec2、hdfs、data-lake

我需要在AWS上构建一个数据湖，但是我不知道S3和HDFS到底有什么不同。我在网上找到了一些答案，但我仍然不明白真正的区别。我还需要知道是否有人在AWS中拥有HDFS和S3的数据湖架构。

浏览 2提问于2019-07-11得票数 1

回答已采纳

1回答

如何构建代表Azure的数据湖(gen 2)的Docker镜像？

azure、docker、azure-data-lake、azure-data-lake-gen2

/tests/.my_test_env 如何构建Docker镜像来模拟Azure数据湖(第2代)？我使用Python3SDK与数据湖进行交互，文档在这里-- 。

浏览 3提问于2020-08-27得票数 2

2回答

对于没有存储在区块链上的输入数据，可以使用EVM吗？

evm

我感兴趣的是以分散的方式计算医疗数据，在这种方式中，没有一个计算资源或请求者可以为了隐私考虑而完全访问这些数据。据我对EVM的理解，输入的数据和算法都存储在块链上，这极大地限制了可用的计算资源，不必要地扩展了块链的大小。由于我仍然对EVM的真正含义感到困惑，我想知道我是否可以使用它来：使用类似GP

浏览 0提问于2017-12-04得票数 1

1回答

注册源选项中缺少的Azure权限源(SAP、HIVE、S3、“多源”)

azure、azure-purview

希望在订阅/帐户中注册所有数据源，但是缺少"Azure (多个源)“选项。其他来源(HIVE、SAP、AWS S3)也是如此。

浏览 2提问于2021-01-19得票数 1

回答已采纳

2回答

天蓝色水滴存储与天蓝色数据湖存储的区别

azure-data-lake、azure-blob-storage

对于像我这样的用户来说，这似乎是一种困惑，因为azure blob存储和蔚蓝数据湖存储有什么主要区别，在哪个用户情况下，azure blob存储比蔚蓝数据湖存储更适合，反之亦然？谢谢。

浏览 9提问于2020-04-05得票数 4

回答已采纳

1回答

当我对智慧文件使用fftw-wisdom-to-conf，编译生成的输出，并将其添加到测试二进制文件(在这种情况下，二进制大小减少了，这对我来说很有趣)，就会出现问题。在这种情况下，由于错误的签名，导入智慧函数返回"0“。智慧文件中的4个第一个md5值是不正确的(与预期的值不同)。如果我在智慧文件中修补这些值，所有这些值都可以正常工作，导入也是ok的，也是FFTW结果。没有gcc优化选项被激活，我不使用多线程，我的配置看起来很简单，您有什么想法可以解释这种行为吗？解决这个问题的方法是导出智慧2

浏览 2提问于2020-05-21得票数 0

1回答

与CTAS相比，创建外部表的利弊是什么？

sql、azure、azure-data-factory、azure-data-lake、azure-sqldw

我正在尝试构建一个Azure Data管道，它从Azure数据湖中获取数据并对其进行转换。在我看来，这其中的权衡并不明显。

浏览 0提问于2019-04-17得票数 1

回答已采纳

1回答

Azure Data factory中是否有任何选项可在从源系统复制数据时保留相同的日期格式

azure-data-factory-2

我正在使用Azure数据工厂复制活动将数据从Oracle Table复制到Azure data Lake。只要我的日期格式是DD-MM-YYYY，azure就会把它们转换成DATE_TIME格式。

浏览 18提问于2019-09-04得票数 0

回答已采纳

1回答

使用Kimball的星型模式和数据集市的数据湖

database-design、architecture、data-warehouse、databricks、data-lake

目标更具体地说，在我的例子中： 2-3) A

浏览 0提问于2020-09-15得票数 1

回答已采纳

1回答

这是验证Azure服务的正确和完整的身份验证方法列表吗？

java、azure、authentication、service

我使用Azure来构建我的Java项目。我需要认证一些Azure服务如下：我在上找到了一个简短的文档，

浏览 2提问于2021-01-14得票数 0

回答已采纳

1回答

如何在Apache beam中读取带有起始日期的pubsub消息

python、google-cloud-dataflow、apache-beam、google-cloud-pubsub

我有一个简单的工作，从pubsub读取历史数据与日期限制例如，我想读取消息从日期2020-04-10到2020-04-20，然后将消息保存在google存储桶中的单个文件中的每一天

浏览 4提问于2020-06-10得票数 0

2回答

搜索存储在Azure数据湖中的数据

azure、bigdata、full-text-search、azure-data-lake、data-lake

我有以下构建数据湖的用例(例如在Azure中)：我的组织处理濒临破产的公司。一旦一家公司破产，它需要把他们所有的数据交给我们，包括结构化数据(例如CSV)以及半结构化和非结构化数据(例如PDF、Word文档、图像、JSON、.txt文件等)。在这里拥有一个数据湖会有所帮助，因为数据量可能很大，而且不可预测，Azure data看起来是一个相对低成本和可伸缩的存储解决方案。然而，除了存储所有这些数据之外，我们还需要为

浏览 1提问于2020-01-07得票数 0

2回答

MS PowerPlatform:通过流在Azure数据湖中使用数据

azure、power-automate、power-platform

我的公司有一些包含我需要的数据的简单列表，我们已经在一个数据湖中拥有了这些.parquet格式的列表。(编辑: Gen2) 我应该构建一个小的PowerApp，它使用这些列表中的一些信息，但我找不到通过流获得其中内容的正确方法。我真的不知道这个数据湖是如何设置的，等等。如果你告诉我“标准的方法是在数据湖的顶部构建一个python REST Api来回答这个问题，那是非常好的。我只需要知道在数据湖中访

浏览 14提问于2021-04-21得票数 0

2回答