云原生数据湖计算平台 - 腾讯云开发者社区

文章/答案/技术大牛

发布

7回答

Hadoop Vs数据湖

hadoop、data-warehouse、data-lake

我听说了数据湖这个新名词。我在谷歌上查到了数据湖是一个大规模的存储库和处理引擎.数据池提供“任何类型的数据的大量存储、巨大的处理能力和处理几乎无限并发任务或作业的能力”。术语数据湖通常与面向Hadoop的对象存储相关联。在这种情况下，组织的数据首先加载到Hadoop平台，然后将业务分析和数据挖掘工具应用于其驻留在Hadoop的商品计算机集群节点上的数据。我们有

浏览 8提问于2016-03-14得票数 16

1回答

Azure数据湖存储x Azure Blob存储与Azure文件存储的区别

azure、cloud、azure-blob-storage、azure-data-lake

关于不同Azure存储服务的用例，我有一个问题：这些服务之间有什么区别？以及何时使用它们，因为它们都在Azure的云平台上提供了相同的功能(存储)。

浏览 2提问于2019-02-07得票数 18

1回答

我要设计一个IOT平台，它可以收集成千上万个或更多的传感器数据。以不同的方式处理这些数据，并向用户提供交互式仪表板，使用户能够向下钻取聚合信息，直到特定的设备级别。我有一些可以用于数据流分布式处理的工具，但对于如何与IOT设备接口没有太多的想法。所以我才开始调查FIWARE。问题:如果我要使用FIWARE GEis作为设备代理，从设备接收数据并转发到实时处理管道，我应该使用哪个GEis？哪些具体的实现？

浏览 4提问于2015-11-19得票数 0

1回答

用python和记事本p Azure读取tdms文件

python

我试图读取tdms文件从一个Azure数据湖到另一个，并转换他们在同一时间的地板。tdms_file = TdmsFile.read("path_to_file.tdms") Azure数据湖中的每个文件都有一个URL作为文件路径，格式如下：我想知道有谁能在Azure平台上分享阅读tdms.files的经验。

浏览 14提问于2021-07-05得票数 0

3回答

请问serverless和云开发这两个区别是什么，serverless应用和云开发应用有什么区别？

serverless、serverless 微服务平台、云开发 CloudBase、小程序·云开发

刚接触这些东西，感觉serverless和云开发这两个是一个东西，有些分不清，查了些资料感觉越看越晕。麻烦大佬们解释一下呗

浏览 1058提问于2021-03-17

1回答

【腾讯云开发者社区技术沙龙—高效智能运维深圳站】有奖问答，与嘉宾面对面交流！？

运维、腾讯云开发者社区

欢迎大家关注参加腾讯云开发者社区技术沙龙—高效智能运维深圳站，活动将于11月9日下午14:00-18:00在深圳腾讯大厦举办。

浏览 543提问于2019-10-30

8回答

将云平台与AI结合起来有什么优势？

人工智能

最近提出将云平台与AI结合起来，这样做有什么优势。Al是如何借助腾讯云进行发展的

浏览 1188提问于2018-05-24

2回答

卡夫卡沉入无汇流数据湖存储

apache-kafka、azure-data-lake-gen2

我试图找到开源卡夫卡的选择，直接写到Azure数据湖存储Gen2。我似乎没有什么选择，主要是在汇合点周围盘旋，如下所示：是否可以使用开源卡夫卡直接将数据写入ADLS Gen2？

浏览 4提问于2021-06-08得票数 1

1回答

如何提高从cosmosdb复制数据的性能？

azure-cosmosdb、azure-data-factory、azure-data-lake、u-sql

我现在正试图通过数据工厂将数据从cosmosdb复制到数据湖存储。cosmos迁移工具不工作，没有导出数据，也没有问题日志。

浏览 3提问于2017-07-11得票数 1

1回答

对于没有存储在区块链上的输入数据，可以使用EVM吗？

evm

我感兴趣的是以分散的方式计算医疗数据，在这种方式中，没有一个计算资源或请求者可以为了隐私考虑而完全访问这些数据。据我对EVM的理解，输入的数据和算法都存储在块链上，这极大地限制了可用的计算资源，不必要地扩展了块链的大小。之后不久，我发现了云母计算市场，它看起来对我的应用程序来

浏览 0提问于2017-12-04得票数 1

1回答

Snowflake为插入查询创建值

sql、snowflake-cloud-data-platform、dml

在SF中，是否可以从一个表中获取数据，格式可以用于插入到另一个(新)表中，例如：(5, '2020-04-02 15:05:15.400',

浏览 9提问于2021-05-20得票数 0

1回答

alternate for google places autocomplete for react native项目？

react-native、google-api、googleplacesautocomplete

是否有任何替代的谷歌地点自动完成的反应原生，因为访问谷歌地点自动完成我需要启用美元货币帐单，我没有美元货币帐户 ? 看到它只有美元没有其他货币，我已经为谷歌云平台，而不是谷歌地图平台启用计费 ? 我尝试使用api密钥，该密钥为使用INR的google云平台启用了计费，我得到以下错误 ?

浏览 26提问于2021-10-08得票数 0

2回答

如何在GCP中执行数据沿袭？

google-cloud-platform、google-cloud-dataproc、data-lineage

当我们使用GCP云存储实现数据湖，并使用Dataproc、Dataflow等云服务进行数据处理时，我们如何在GCP中生成数据沿袭报告？

浏览 41提问于2019-03-05得票数 5

1回答

创建链接服务(Synapse) Salesforce时出现连接错误

azure、azure-web-app-service、salesforce、azure-data-factory

当我试图创建一个链接服务(Salesforce) - AutoResolveIntegrationRuntime类型时，我得到了这个错误：我验证了所有凭据都是正确的，它在salesforce用户登录历史上显示登录尝试成功，但链接的服务设置抛出错误。

浏览 0提问于2021-10-06得票数 0

1回答

读取csv文件时中绝对URI中的相对路径

python、pandas、pyspark、databricks

我刚接触过Pyspark，并尝试使用Databricks中的数据库。我试图使用以下语法从本地计算机读取csv文件： df = spark.read.format("csv").option("header", True).load("C:\\Users\\***\\Desktop

浏览 13提问于2021-07-06得票数 1

回答已采纳

2回答

如何复制蔚蓝blob文件到蔚蓝数据湖分析

c#、azure、azure-storage、azure-blob-storage、azure-data-lake

有没有办法在azure上创建一个作业或Azure服务，以便将Azure blob文件移到Azure数据湖存储区？

浏览 4提问于2016-12-06得票数 0

1回答

客户是一个广告公司，现阶段有10T的图片需要进行存储，有合适的方案介绍吗？

存储

浏览 360提问于2019-04-12

1回答

支持数据湖设置的服务

amazon-web-services、amazon-s3、azure-data-lake、alibaba-cloud、data-lake

我必须测试和比较可用的解决方案来创建一个数据湖。除了AWS湖的形成之外，还有其他服务可以轻松地建立一个安全的数据池吗？我知道我可以在Azure和Google平台上创建一个帐户，但是我不知道他们是否有任何我需要的解决方案的“包”，或者帮助我建立数据湖的服务。

浏览 1提问于2019-05-09得票数 0

回答已采纳

1回答

在上部署具有数据流调度功能的Spring云数据流，并且不使用K8s或cloud

google-cloud-platform、spring-batch、cloud-foundry、spring-cloud-dataflow

正如他们在中提到的，只有3种方法可以安装spring云数据流：而本地平台的意图是只用于开发，因此对于生产，您将被迫采用第二或第三种选择。另外，如果您想使用调度功能，则它不能用于本地平台。Cloud和Kubernetes使用CF和K8s调度程序支持SCDF调度功能。问题是我有一个在Google计算引擎上托管的Spring批处理应用程序，我也想在计算引擎上托管带有调度功能的SDCF，因为在我工作的公司中，他们

浏览 10提问于2022-09-03得票数 0

1回答