湖仓一体大数据 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

谷歌的BigQuery对Azure数据湖U

azure、google-bigquery、google-cloud-platform、azure-data-lake、u-sql

我试图了解谷歌的大查询和Azure data之间的区别或利弊。哪个更好？我已经彻底地寻找了什么是巨大的差异，但找不到它。

浏览 0提问于2016-04-25得票数 3

回答已采纳

4回答

通过Javascript regex选择所有不是特定单词的单词？

javascript、regex

纳姆拉库斯湖，在条件和条件下，累积无无。乌贼，乌贼。在维里特，三位一体的不，港口在紫色。长春花，非苏打水，非苏铁。Nullam augue neque，lacinia quis commodo a .库拉比图尔·欧盟的三位一体。草皮前庭在大皮紫花苜蓿上进行皂角运动。[医]肉桂，[医][医]. 测试at:

浏览 6提问于2011-12-02得票数 2

回答已采纳

3回答

例如，这是我的数据文件：1420我想知道我在以下范围内有多少次点击：20-29所以结果会是这样的20-29 2我已经做了这样一件事:首先将我的数据保存到一个散列( datahash )中，然后将我的范围保存到另一个散列(Range hash )中，然后基本上遍历datahash中的所有数据点，并检查该值是否落入问题是，对于datahash中的每个数据点，我循环遍历所有的range each值，并在找到数据点所在的范

浏览 5提问于2013-08-08得票数 0

4回答

如何查询Azure数据湖？

azure、azure-data-lake

来自数据库世界，当我们有与数据相关的东西时，我们使用ui工具来查询数据。不管是大还是小。有没有类似SSMS、SQL WorkBench (用于大数据红移)、雅典娜(查询大数据S3)的Azure数据湖？我看到只是查询数据并将其存储在文件中。是否有通过UI工具或WebBased工具查询Azure数据湖上的数据？

浏览 6提问于2017-11-17得票数 9

回答已采纳

2回答

HDFS和ADLS有什么区别？

hadoop、hadoop2、azure-data-lake

与HDFS不同的是，我对天蓝色数据湖的存储方式感到困惑。有谁能简单地解释一下吗？

浏览 2提问于2020-07-09得票数 1

回答已采纳

1回答

如何在不与整个数据进行比较的情况下进行增量加载？

apache-spark、hive、azure-data-factory、azure-databricks

我试图从我的on数据湖增量加载到蔚蓝数据湖gen2。我的源表非常大。当我运行上面的查询时，ADF复制活动需要花费大量的时间来加载。我认为文件处理条件是从源表中的所有记录开始检查的，所以这需要时间。

浏览 4提问于2022-06-10得票数 -1

4回答

什么是数据湖？

bigdata

我熟悉“大数据”的概念，但“数据湖”与“大数据”有何不同？它是从大数据衍生出来的吗？请解释一下。

浏览 0提问于2019-04-24得票数 1

回答已采纳

1回答

在单个事务中将数据从Azure Delta Lake和Azure data Brick加载到Postgres SQL (插入10个数据表并回滚以防止任何错误)

azure-databricks、delta-lake、azure-postgresql

我想从Azure delta lake加载数据(大约10个表)到azure postgressql。我尝试过在azure data tried中使用jdbc连接，我可以从delta到postgressql中插入和读取数据。但不能实现原子性(在单个事务中插入所有表数据)。你能帮助更好地连接天蓝色三角洲湖和postgressql，以及如何实现原子性吗？数据频率是每小时从源馈送的，数据量非常大。谢谢。

浏览 19提问于2021-07-23得票数 1

1回答

Python自适应直方图宽度

python、numpy

我目前正在做一个项目，在那里我必须储存多达10维的数据。这在numpy.histogramdd中很好，但是对于一个有严重障碍的人来说：我的参数空间相当大，但实际上只有一小部分是由数据居住的(例如，大约几%.)。在这些地区，数据相当丰富，所以我想使用相对较小的仓宽。然而，这里的问题是RAM的使用完全爆炸了。我看到20GB+只在5个维度上使用，这是绝对不实际的。我试着自己定义网格，但问题依然存在.我的想法是手动指定bin边，在这里，我只对数据空间中的空区域使用非常大的bi

浏览 0提问于2015-08-03得票数 1

1回答

如何用更新的模式从拼图中获取数据

amazon-web-services、parquet、aws-glue、amazon-athena

我在S3中使用AWS雅典娜+ AWS Glue + Parquet，当我修改在AWS中声明的模式时，雅典娜不查询新数据。例如。

浏览 6提问于2022-05-27得票数 0

1回答

为什么输出数据来分离文件？

azure、azure-blob-storage、powerbi、azure-data-lake、azure-stream-analytics

为什么在使用Azure数据湖或Azure Blob存储时，要创建单独的文件？有时流在一个文件中运行数天，而另一些时候每天生成几个新文件。看起来很随意吗？我将数据输出到CSV，查询保持不变，并不时生成一个新文件。我更希望它有一个大的CSV文件，因为我希望能够使用Power对数据运行长期统计数据，但当所有文件都具有一个看似随机的名称时，这似乎是不可能的。

浏览 4提问于2017-11-21得票数 0

回答已采纳

2回答

如何将带有嵌套列表的字典写入csv，并为每个嵌套值创建新行

python-3.x、list、csv、dictionary、nested-lists

所以，我收集了包括城市和社区在内的数据。结果是一个键字典，这些键是城市，列表值是邻居的列表。例如，阿拉丘亚市、161&110街和94大道是社区)： {'Alachua'：‘161&110街’、‘78大道/ NW 218街’、‘94大道’、‘布兰登庄园’、'Clarkes Addn‘、'Dogwood147 Ave’、'Oak Ridge at High Springs‘、'Pioneer Ridge’、'Shaw农场‘、’土耳

浏览 0提问于2021-01-03得票数 0

1回答

DataLake功率BI设计模式

azure、powerbi、azure-data-factory-2、azure-data-lake-gen2

我们的客户有一个共同的问题，许多分布式数据存储与不同的技术栈。最后的游戏是将数据的某些部分集中在一起，通过Microsoft生成详细的报告。发布到PowerBI服务

浏览 6提问于2020-08-11得票数 0

3回答

什么是大数据&什么被归类为大数据？

ssis、data-mining、bigdata

我读过很多文章，但我似乎没有得到一个关于大数据到底是什么的完全清晰的答案。在一页中，我看到“对于您的使用来说更大的任何数据，都是大数据--即100 MB被认为是邮箱的大数据，而不是硬盘”。而另一篇文章说“大数据通常大于1TB，具有不同的体积/变化/速度，不能存储在一个单一的系统中”。另外，数据应该存储在NOSQL中，Hadoop用于转换数据。此外，我一直在研究一个解决方案，并想知道是否可以将其归类为一个大数据。下面的解决方案的片段，

浏览 5提问于2016-02-22得票数 1

1回答