2回答
从数据湖中检索数据到分析系统
hadoop、bigdata、analytical
我们在Hadoop文件系统中创建了一个新的数据湖。数据以ORC的形式存储。目前分析系统直接连接到数据湖来读取这些ORC文件。
有没有办法在数据湖和分析系统之间创建一个中间层来服务数据？
浏览 16提问于2018-10-04得票数 0
7回答
Hadoop Vs数据湖
hadoop、data-warehouse、data-lake
我听说了数据湖这个新名词。我在谷歌上查到了
数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我对Hadoop和<em
浏览 8提问于2016-03-14得票数 16
2回答
如何处理数据湖vs数据仓库中的历史化数据？
data-warehouse、data-lake
在传统数据仓库中实现数据历史化是可能的(甚至是核心功能)。随着时间的推移，数据将被添加到数据仓库中，并且可以在数据中及时移动。 如果我只想使用数据湖，并为业务用户提供数据历史化，这可能吗？
浏览 36提问于2020-11-30得票数 0
回答已采纳
2回答
搜索存储在Azure数据湖中的数据
azure、bigdata、full-text-search、azure-data-lake、data-lake
我有以下构建数据湖的用例(例如在Azure中)：
搜索所有文本文件(word文档、.txt和PD
浏览 1提问于2020-01-07得票数 0
1回答
数据湖如何存储数据和格式？
sql、image、nosql、azure-data-lake、data-lake
我听说数据湖可以存储任何类型的数据:关系型，NoSql，图片/图像，Adobe，Excel。如何以无SQL格式或二叉树存储数据？还是把它像普通硬盘一样保存？如果是这样的话，他们为什么不直接称之为存储，而不是数据湖呢？我正在试图找到“数据湖”的确切存储机制。
浏览 0提问于2018-09-09得票数 2
回答已采纳
1回答
内部部署的delta
delta-lake、data-lake
如果是，需要安装哪些软件/工具？ 我正在尝试在本地实现一个增量湖，以分析一些日志文件和数据库表。我现在的机器上装了ubuntu，apache spark。不确定还需要哪些其他工具。是否有任何其他工具建议来实施内部数据湖概念？
浏览 20提问于2021-02-10得票数 2
1回答
是否可以借助阿里巴巴快速BI对存储在MariaDB中的数据进行实时分析？
mysql、cloud、mariadb、alibaba-cloud
我想借助Quick BI实时分析存储在MariaDB中的数据，是否可以将MariaDB与QuickBI连接？我也发现ETL不支持Quick BI。
浏览 1提问于2018-09-26得票数 0
4回答
Azure数据工厂:配置频率
azure、azure-data-factory、azure-data-lake、azure-stream-analytics
我计划使用Azure Data Factory作为项目中数据湖分析作业的触发器。数据湖作业将根据传感器输入数据计算关键数字，这些数据由StreamAnalytics处理并存储在数据湖中。有没有人遇到过同样的问题并找到了解决方案，或者在这种情况下使用不同的工具作为Azure Data Factory会更好？
浏览 3提问于2017-05-16得票数 0
1回答
如何提高从cosmosdb复制数据的性能？
azure-cosmosdb、azure-data-factory、azure-data-lake、u-sql
我现在正试图通过数据工厂将数据从cosmosdb复制到数据湖存储。cosmos迁移工具不工作，没有导出数据，也没有问题日志。如何/哪些工具可以提高复制性能？
浏览 3提问于2017-07-11得票数 1
1回答
visual studio 2015中的Adf解决方案停止加载
visual-studio、azure-data-factory
“我深入研究了'adl工具for vs‘日志，并推断这是gac中的版本控制问题；卸载和重新安装数据湖工具，至少我的vs现在已经启动。Azure数据湖节点1.0此包包含服务器资源管理器的数据湖集成节点。用于Visual的Azure数据湖工具2.0.8000.0 Microsoft Azure Data Lake Tools for Visual Studio
通用Azure工具</e
浏览 4提问于2016-05-31得票数 1
回答已采纳
2回答
如何扩展Azure数据工厂数据流？
azure、azure-data-factory、azure-data-lake、azure-data-factory-2、azure-databricks
我可以很容易地使用ADF UI为一个表设置SCD Type2流程，但我没有看到一种简单的方法来扩展到我们已经拥有的数千个数据源。我在Azure中没有看到任何工具可以让我们取代我们内部构建的UI驱动的数据湖摄取过程。我是不是漏掉了什么？顺便说一句，我们有一个旧的数据湖应用程序，它从数千个数据源(如数据库、日志文件、web应用程序等)中摄取数据，并使用Java、Spark、Kafka等技术在HDFS (一个典型的架构)上
浏览 13提问于2020-01-11得票数 0
1回答
如何使用Azure数据工厂将新的或更新的文件从Azure数据湖推送到文件夹
azure、file、azure-data-factory、azure-data-lake
我可以使用复制工具将数据从Azure数据湖推送到使用Azure data Factory的本地文件夹。
但我只想将Azure数据湖中的更新或新文件推送到文件文件夹(我是指仅增量拉动)。
浏览 2提问于2020-05-20得票数 0
2回答
从头开始建数据湖
hadoop、data-warehouse、data-lake
我正试图从零开始构建一个“数据湖”。我理解数据湖是如何工作的，以及它的用途；它遍布互联网。但是，当问题出现时，如何从头开始建立一个，就没有来源了。我想知道如果：
我知道如何运行Hadoop并将数据导入Hadoop。我想在前提数据湖上建立一个示例来演示我的经理。任何帮助都是非常感谢的。
浏览 1提问于2019-02-27得票数 2
回答已采纳
1回答
将Kusto输出写入本地计算机上的文件
azure-data-explorer、kql、kusto-explorer
我编写了以下查询，以便将数据从库斯托导出到本地计算机。但是，下面的命令不起作用。有人能给我推荐一下我怎么做吗？
浏览 1提问于2022-06-22得票数 0
1回答
用于从IOT设备收集数据的Fiware
fiware、iot、fiware-orion
我要设计一个IOT平台，它可以收集成千上万个或更多的传感器数据。以不同的方式处理这些数据，并向用户提供交互式仪表板，使用户能够向下钻取聚合信息，直到特定的设备级别。我有一些可以用于数据流分布式处理的工具，但对于如何与IOT设备接口没有太多的想法。所以我才开始调查FIWARE。问题:如果我要使用FIWARE GEis作为设备代理，从设备接收数据并转发到实时处理管道，我应该使用哪个GEis？哪些具体的实现？
浏览 4提问于2015-11-19得票数 0
2回答
在我的用例中需要数据吗？
data
我的web应用程序存储使用数据，例如：执行的任务等等，我需要显示仪表板和报告的使用和性能趋势，例如：平均任务执行时间是多少？数据来自具有特定数据模型的关系数据库。
有人要求我创建一个数据记录，只是给他我所有的原始数据。我不明白这张照片里有什么数据。没有模型和关系，我的数据是无用的。而且，我没有事件流:我在关系数据库中有表。例如，“任务”表中的一行将有“打开时间”列和
浏览 0提问于2018-11-04得票数 1
2回答
传统数据湖与AWS湖形成
amazon-web-services、aws-glue、aws-lake-formation
我一直在为客户建立数据湖，在那里我们将数据从onprem或任何其他来源加载到S3 (一个数据湖)中。我们将在这些原始数据上创建一个AWS Glue目录来创建模式。下一步是使用EMR或AWS Glue进行数据清理，将转换后的数据加载到RDS / REDSHIFT / S3中作为最终目标。分析人员、其他用户将使用IAM服务提供所需的数据/ S3桶访问，用于Quicksight可视化或使用雅典娜、data等进行
浏览 0提问于2019-08-20得票数 3
2回答
需要将Grafana与Azure数据湖集成的解决方案
azure、grafana、azure-data-lake
我想将Azure数据湖存储与Grafana集成起来，以实现时间序列数据的可视化。我需要知道我可以使用哪些工具来使其成为可能。我使用ADF从数据湖中存储的csv文件中提取数据，并移动到Azure数据资源管理器中的一个表中。在那之后，我使用了grafana中的Azure data explorer插件来进行可视化。
浏览 0提问于2019-07-04得票数 0
1回答
在AWS中，具有HDFS或S3的数据池之间有什么区别？
amazon-s3、amazon-ec2、hdfs、data-lake
我需要在AWS上构建一个数据湖，但是我不知道S3和HDFS到底有什么不同。我在网上找到了一些答案，但我仍然不明白真正的区别。
我还需要知道是否有人在AWS中拥有HDFS和S3的数据湖架构。
浏览 2提问于2019-07-11得票数 1
回答已采纳
2回答
使用distcp时，wasb协议是否支持内部部署？
azure、hadoop、hdfs、azure-blob-storage、distcp
我想将我的工作负载从本地移动到azure blob。我可以使用distcp将工作负载移动到azure吗？因为它是blob，所以我将在目标参数中使用wasb。wasb在这种情况下会工作吗？
浏览 1提问于2018-02-08得票数 0
云服务器
对象存储
ICP备案
云点播
腾讯会议
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号