7回答
Hadoop Vs数据湖
hadoop、data-warehouse、data-lake
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据
浏览 8提问于2016-03-14得票数 16
2回答
从头开始建数据湖
hadoop、data-warehouse、data-lake
我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：
我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。
浏览 1提问于2019-02-27得票数 2
回答已采纳
1回答
数据湖如何存储数据和格式？
sql、image、nosql、azure-data-lake、data-lake
我听说数据湖可以存储任何类型的数据:关系型，NoSql，图片/图像，Adobe，Excel。如何以无SQL格式或二叉树存储数据？还是把它像普通硬盘一样保存？如果是这样的话，他们为什么不直接称之为存储，而不是数据湖呢？我正在试图找到“数据湖”的确切存储机制。
浏览 0提问于2018-09-09得票数 2
回答已采纳
2回答
从数据湖中检索数据到分析系统
hadoop、bigdata、analytical
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
2回答
HDFS和ADLS有什么区别？
hadoop、hadoop2、azure-data-lake
与HDFS不同的是，我对天蓝色数据湖的存储方式感到困惑。有谁能简单地解释一下吗？
浏览 2提问于2020-07-09得票数 1
回答已采纳
1回答
使用本地驱动器在Azure HDInsight上运行Spark程序
azure、apache-spark、benchmarking、azure-hdinsight
在EC2上，我们访问的数据被存储在固态硬盘上。我们在Azure上的blob中有数据。当我们创建HDInsight集群时，我们是否简单地将数据从blob复制到集群，它将位于固态硬盘上(假设我们的集群需要固态硬盘？)
浏览 1提问于2016-04-04得票数 0
4回答
hadoop、-put和hadoop的区别
hadoop
我们将在我们的数据湖项目中完成摄入阶段，在我的Hadoop开发经验中，我主要使用了hadoop fs -put。那么，hadoop distcp和用法有什么区别呢？
浏览 1提问于2017-03-30得票数 7
回答已采纳
1回答
如何将数据从本地本地HDFS迁移到Azure存储
azure、hortonworks-data-platform、azure-data-lake、azure-hdinsight、hdp
我想将数据从本地的本地HDFS服务器转移到Azure HDinsight集群。
我尝试了distcp命令，但它不理解数据湖存储路径。
浏览 1提问于2019-07-17得票数 0
1回答
用hadoop进行弹性搜索
elasticsearch、hadoop
目前，在我的组织中，我们持有弹性搜索中的半结构化数据，我们使用查询进行快速文本搜索和聚合，但是我们有其他产品在其他数据库中，所以我们希望将所有的数据放在像HDFS这样的数据湖中。因此，如果我使用HDFS作为一个数据湖来保存原始数据，那么如何使用弹性搜索呢？我指的是在使用之前的弹性搜索索引数据，那么是否可以将数据保存在数据湖中，然后弹性搜索就可以直接从数据湖
浏览 3提问于2022-11-21得票数 0
1回答
为Apche Spark 2.4.3安装达美湖软件包(火花)
apache-spark、hadoop、pyspark、delta-lake
我想使用pyspark在Hadoop集群上使用delta湖。除了下面，我还没有找到任何使用三角洲湖的安装指南。spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog"
提前谢谢。
浏览 5提问于2020-08-12得票数 2
1回答
从ADLS Gen2读取的文件错误配置属性xxx.dfs.core.windows.net未找到
azure-databricks、azure-data-lake-gen2、apache-spark-xml
我正在使用ADLS Gen2，从一个数据库笔记本试图使用'abfss‘路径处理文件。(AzureBlobFileSystem.java:106) at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2669) at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:370) at org.apache.hadoop.fs.Path.getFileSystem(Path.java
浏览 2提问于2020-08-13得票数 1
回答已采纳
2回答
处理数据仓库中的大数据
hadoop、bigdata、data-warehouse、datamart
我是一个学习大数据的概念。基于我的理解，大数据是处理非结构化数据和高volume.When的关键，我们研究了数据仓库( datawarehouse，DW )的大数据体系结构，从源数据通过Hadoop (HDFS和Mapreduce)提取数据，并将相关的非结构化信息转换为有效的业务信息，最后通过ETL处理(以及现有的结构化数据处理)将数据注入DW或DataMart。但是，我想知道DW对组织(由于大数据
浏览 3提问于2015-04-28得票数 5
回答已采纳
2回答
使用distcp时，wasb协议是否支持内部部署？
azure、hadoop、hdfs、azure-blob-storage、distcp
我想将我的工作负载从本地移动到azure blob。我可以使用distcp将工作负载移动到azure吗？因为它是blob，所以我将在目标参数中使用wasb。wasb在这种情况下会工作吗？
浏览 1提问于2018-02-08得票数 0
2回答
为fs.azure.account.key复制活动检测到的配置值无效
azure-databricks、azure-data-factory-2、azure-data-lake-gen2
当将增量表从databricks复制到存储帐户gen2时，数据工厂复制活动失败ErrorCode=AzureDatabricksCommandError，在Azure中运行命令时出错。
浏览 6提问于2022-06-23得票数 0
回答已采纳
5回答
Azure数据湖VS Azure HDInsight
azure、azure-data-lake、azure-hdinsight
URL中有一条语句告诉您
"Azure Data Lake Store can be accessed from Hadoop (available with HDInsight cluster) using根据我的初步理解，数据湖存储是一个可以存储任何类型的数据的存储。我认为，HDInsight也做了同样的事情。如果HDInsight可以用于文件存储或任何类型的存储，那么为什么要使用数据湖?如果有人能详细说明这一点，那就太好了。谢谢。
浏览 7提问于2018-06-04得票数 12
1回答
如何使用用户分配的标识从数据库访问ADLS容器
azure、azure-databricks、azure-managed-identity、azure-data-lake-gen2
我已经成功地在Databricks中挂载了带有服务主体的ADLS，并且能够对数据进行必要的转换。
现在，我正在使用用户分配的托管身份来避免在代码中保留秘密。
浏览 6提问于2022-03-08得票数 0
2回答
Hadoop使用pyspark下载文件
azure、hadoop、pyspark、azure-data-lake
我正在尝试下载一个Hadoop文件(我的hadoop数据位于Azure数据湖中)。在下面的脚本中使用，但是我得到JVM错误。有什么帮助吗？_gateway.jvm.java.net.URI hadoop = sc._gateway.jvm.org.apache.hadoop conf = hadoop.conf.Configuration() fs = hadoop.fs.FileSystem.get(URI(
浏览 27提问于2019-11-04得票数 0
回答已采纳
1回答
QlikView和Hadoop与Kerberos在同一服务器上
hadoop、kerberos、qlikview
在同一台服务器上，我运行了一些qlikview的加载器和hadoop中的一个数据湖。我的qlikview加载器使用impala连接器(您可以在qlikmarkt中找到的连接器)查询数据湖的一些“表”，但我们将在数据湖中使用kerberos安全性。
浏览 0提问于2016-04-07得票数 1
1回答
在hadoop3.x中复制方案是如何工作的？
azure、replication、hadoop3
根据我在Hadoop3.x中的理解，他们引入了对Microsoft数据湖文件系统的支持，并且修改了复制方案。这些仅仅是主要的特性吗，它们作为Hadoop-3.x的一部分而引入的其他新特性呢？以及复制方案是如何在Hadoop-3.x中工作的
浏览 0提问于2017-07-04得票数 0
回答已采纳
1回答
SAP HANA还是Hadoop？
bigdata、apache-hadoop
我是一个新人，我最近加入了一个数据工程团队的跨国公司。在那里，我接受了Hadoop或SAP HANA的培训。我不知道该选哪一个。有人能帮我做出正确的选择吗？
浏览 0提问于2019-01-30得票数 0
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号