随手写个文章-腾讯云开发者社区

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

随手写个文章

输出想法的同时进行输入想法，效果还是挺好的。

专栏成员

22

文章

38120

阅读量

14

订阅数

Adaptive and Robust Query Execution for Lakehouses at Scale（翻译）

大数据架构设计论文 spark

许多组织已经接受了“湖仓”数据管理范式，这种范式涉及在开放的、非结构化的数据湖之上构建结构化的数据仓库。这种方法与传统的、封闭的、关系型数据库形成鲜明对比，并为分布式查询处理器的性能和稳定性带来了挑战。首先，在大规模的、开放的湖仓中，处理未策划的数据、高摄入率、外部表或者深度嵌套的模式时，维护完美且最新的表和列统计数据往往是昂贵或浪费的。其次，由于连接词谓词、连接和用户定义函数等固有的基数估计不完美，可能会导致糟糕的查询计划。第三，对于涉及的数据量之大，严格依赖于静态查询计划决策可能导致性能和稳定性问题，例如过量的数据移动、显著的磁盘溢出或高内存压力。为了应对这些挑战，本文介绍了我们对自适应查询执行（AQE）框架的设计、实现、评估和实践，该框架利用查询计划中的自然执行管道中断来收集准确的统计数据，并在运行时重新优化以提升性能和健壮性。在TPC-DS基准测试中，该技术展示了高达25倍的单查询加速。在Databricks，AQE已经在生产环境中成功部署多年。它支持通过关键企业产品如Databricks Runtime、Databricks SQL和Delta Live Tables，每天处理数亿查询和ETL作业，处理数以艾字节计的数据。

2025-01-17

1201

【天穹OS】虚拟表：支持极速查询的下一代湖仓一体新范式

虚拟化数据湖计算 DLC 腾讯云数据仓库 TCHouse-X

湖仓一体（Lakehouse）是近年来比较火的大数据概念，它将数据湖（Data Lake）和数据仓库（Data Warehouse）的优势结合起来，为企业提供了更强大、更灵活的数据管理解决方案。Gartner 技术曲线的描绘中，Lakehouse是一项非常重要技术，预计还有2～5年进入平台期，国内是5～10年。

2023-10-31

1.8K0

下一代大数据技术架构：Data Fabric？

大数据数据管理

过去几十年，随着数据量的爆炸性增长和数据处理需求的不断演进，我们目睹了大数据架构的不断发展和变革。在这个过程中，大数据技术和服务的发展取得了令人瞩目的成就，为各行业的业务智能化提供了强大的支持，数据驱动进行决策已成为共识。

2023-10-10

4.9K1

如何提高集群资源利用率？

大数据任务调度容器

当我们手里有一个固定资源的集群时，需要做两件事：1. 资源管理，2. 成本效率管理；为了让进程跑在合适的机器我们需要任务调度器（深度学习任务跑在带GPU的物理机上），为了提高资源利用率（降本提效）则需要资源调度器（根据标签、算法进行调度）。

2023-10-07

4860

Orca: A Modular Query Optimizer Architecture for Big Data（翻译）

大数据数据库性能优化

数据管理系统中的分析查询处理性能主要取决于系统的查询优化器的能力。数据量的增加和对处理复杂分析查询的兴趣的增加促使Pivotal构建了一个新的查询优化器。

2023-09-28

4570

EFFICIENCY IN THE COLUMBIA DATABASE QUERY OPTIMIZER（翻译）优化器架构

动态规划数据库性能优化

基于Cascades框架，Columbia优化器专注于优化的效率。本章将详细描述Columbia优化器的设计和实现，并进行与Cascades的比较讨论。

2023-09-27

4460

EFFICIENCY IN THE COLUMBIA DATABASE QUERY OPTIMIZER（翻译）介绍

数据库大数据数据库性能优化

查询优化是数据库系统可以实现显著性能提升的领域。现代数据库应用程序需要具有高度可扩展性和效率的优化器。尽管在这些领域已经做出了十多年的努力，但优化器研究的最新成果仍然无法满足业务的需求。我们 Columbia 项目的目标是为查询优化提供高效且可扩展的工具，特别是针对复杂查询和新的数据模型。本论文的主要关注点是效率。

2023-09-27

3750

A RateupDB（TM）Experience of Building a CPU/GPU Hybrid Database Product（翻译）

数据库 gpu 数据仓库

原文标题：The Art of Balance: A RateupDB（TM） Experience of Building a CPU/GPU Hybrid Database Product

2023-09-26

5050

The Cascades Framework for Query Optimization(翻译)

这篇论文描述了一个新的可扩展查询优化框架，解决了 EXODUS 和 Volcano优化器/生成器的许多不足之处。除了可扩展性、基于EXODUS和Volcano原型的动态规划和记忆化，这个新的优化器提供了以下功能：

2023-09-26

5380

基于AIGC的写作尝试：A Survey of Large Language Models（论文翻译）（下）

在预训练之后，LLMs可以获得解决各种任务的通用能力。然而，越来越多的研究表明，LLMs的能力可以根据特定目标进行进一步的适应调整。在本节中，我们介绍了两种主要的适应预训练LLMs的方法，即指令调整和对齐调整。前一种方法主要旨在增强（或解锁）LLMs的能力，而后一种方法旨在将LLMs的行为与人类的价值观或偏好相一致。此外，我们还将讨论快速模型适应的高效调整方法。接下来，我们将详细介绍这三个部分。

2023-05-30

1.2K0

基于AIGC的写作尝试：A Survey of Large Language Models（论文翻译）（上）

自从图灵测试在20世纪50年代提出以来，人类一直在探索机器掌握语言智能的方法。语言本质上是一个由语法规则控制的复杂、精细的人类表达系统。开发能够理解和掌握语言的能力强大的人工智能（AI）算法是一个重大挑战。作为一种主要方法，语言建模在过去二十年中已经被广泛研究，从统计语言模型发展到神经语言模型。最近，通过在大规模语料库上预训练Transformer模型，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面表现出强大的能力。由于研究人员发现模型扩展可以提高模型容量，他们进一步通过将参数规模增加到更大的尺寸来研究扩展效果。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅可以实现显著的性能提升，而且还表现出一些特殊的能力（例如上下文学习），这些能力在小规模语言模型（例如BERT）中不存在。为了区分不同参数规模的语言模型，研究界为具有显著规模（例如包含数十亿或数百亿个参数）的PLMs创造了大型语言模型（LLM）这个术语。最近，学术界和工业界对LLMs的研究取得了很大进展，其中一个显著的进展是ChatGPT的推出（一种基于LLMs开发的强大AI聊天机器人），引起了社会的广泛关注。LLMs的技术进化对整个AI社区产生了重要影响，这将革命性地改变我们开发和使用AI算法的方式。考虑到这种快速的技术进步，在本次调查中，我们通过介绍背景、关键发现和主流技术，回顾了LLMs的最新进展。特别是，我们关注LLMs的四个主要方面，即预训练、适应调整、利用和容量评估。此外，我们还总结了开发LLMs的可用资源，并讨论了未来方向的剩余问题。本次调查提供了LLMs文献的最新综述，可供研究人员和工程师使用。

2023-05-29

1.6K0

基于AIGC的写作尝试：Presto: A Decade of SQL Analytics at Meta（翻译）

Presto是一个开源的分布式SQL查询引擎，支持多个EB级数据源的分析工作负载。Presto用于低延迟的交互式用例以及Meta的长时间运行的ETL作业。它最初于2013年在Meta推出，并于2019年捐赠给Linux基金会。在过去的十年中，随着Meta数据量的超级增长以及新的SQL分析需求，维护查询延迟和可扩展性对Presto提出了令人印象深刻的挑战。其中一个最重要的优先事项是确保查询可靠性不会随着向更小、更弹性的容器分配的转变而退化，这需要查询在显著较小的内存余量下运行，并且可以随时被抢占。此外，来自机器学习、隐私政策和图形分析的新需求已经促使Presto维护者超越传统的数据分析。在本文中，我们讨论了近年来几个成功的演变，这些演变在Meta的生产环境中将Presto的延迟和可扩展性提高了数个数量级。其中一些值得注意的是分层缓存、本地矢量化执行引擎、物化视图和Presto on Spark。通过这些新的能力，我们已经弃用了或正在弃用各种传统的查询引擎，以便Presto成为为整个数据仓库服务的单一组件，用于交互式、自适应、ETL和图形处理工作负载。

2023-04-19

4.9K1

基于AIGC写作尝试：深入理解 Apache Hudi

本文的目的是为读者提供全面了解Apache Hudi的知识。具体而言，读者可以了解到Apache Hudi是什么、它的架构如何工作、常见的使用案例以及与之配合工作的最佳实践。此外，读者还将获得有关如何设置和配置Apache Hudi，以及优化其性能的技巧的见解。通过阅读本文，读者应该对Apache Hudi有扎实的理解，并了解如何在其数据处理流程中利用它的优势。

2023-04-18

1.8K0

基于AIGC写作尝试：深入理解 Dremio

presto aigc 大数据

现代组织不断从各个来源产生和收集大量数据。数据可能存储在不同的格式、位置，并且在容量、速度和种类上可能存在差异，使用户难以快速提取其中的价值。数据孤岛在许多公司都是存在，为了解决数据孤岛问题，企业可以采取的措施有：数据集成、建立数据共享机制、数据标准化、数据虚拟化等。其中数据虚拟化通常需要一个引擎支持读取多源的数据，且统一访问逻辑；业界解决改场景的引擎有Spark、Presto、Dremio等，本文接下来主要描述Dremio。

2023-04-17

3.4K0

基于AIGC写作尝试：深入理解 Apache Arrow

大数据存储 apache chatgpt 内存

在当前的数据驱动时代，大量的数据需要在不同系统和应用程序之间进行交换和共享。这些数据可能来自于不同的源头，如传感器、数据库、文件等，具有不同的格式、大小和结构；不同系统和编程语言的运行环境也可能存在差异，如操作系统、硬件架构等，进一步增加了数据交换的复杂度和难度。为了将这些数据有效地传输和处理，需要一个高性能的数据交换格式，以提高数据交换和处理的速度和效率。传统上，数据交换通常采用文本格式，如CSV、XML、JSON等，但它们存在解析效率低、存储空间占用大、数据类型限制等问题，对于大规模数据的传输和处理往往效果不佳。因此，需要一种高效的数据交换格式，可以快速地将数据从一个系统或应用程序传输到另一个系统或应用程序，并能够支持不同编程语言和操作系统之间的交互。

2023-04-15

6.9K1

一种基于分区列谓词补偿的物化视图增量更新方法

数据库解决方案大数据解决方案数据分析 hive sql

当前业界在做物化视图增量更新时，物化视图一般会存储在一张分区表中，以分区为粒度进行增量、刷新、删除；不然就需要生成大量的物化视图元数据或每次都要重新计算历史所有的物化数据，成本是巨大的。上述物化视图的增量为基础表数据append增加新分区，刷新为先删除后增加，删除即删除对应的分区；当前的物化视图分区表不允许有空洞，否则会导致物化视图无法命中；其他一致性问题见物化视图一致性问题。

2023-03-03

9540

大数据架构系列：从索引到预计算

文件存储数据库缓存数据分析

大数据发展至今，各大公司的数据量已经是非常庞大了，虽然通用计算框架Spark/Presto等已经能满足用户的很多查询需求，但是更快的查询还是大家向往的。OLAP框架Doris/StarRocks/Clickhouse等在业界已经很火了，虽然有着非常强的计算层，但是在存储层的优化也是非常多的，不仅有特殊的编码、压缩还有一大堆的可配置索引，例如BitMap/HLL维度类型可以快速的计算去重的场景等，ZSTD算法等极致压缩，倒排索引点查等等。

2022-12-14

1.4K1

大数据架构系列：Amazon 大数据统一分析（分享）

大数据解决方案文件存储

#0 基于数据湖的数据架构图片评论：将数据收集到一起，解决数据孤岛问题。#1 以任何规模存储数据图片评论：吹了一下基于S3的数据湖的牛皮。#2 选择最佳性价比，专门构建分析服务图片评论：有好多框架和产品，每个解决特定场景的问题。#3 数据自由流动图片评论：冷热查询。图片评论：跨源查询。图片评论：跨源物化视图。#4 人人都是数据分析师图片评论：大家都参与进来，才有钱赚。#5 数据治理图片评论：功能太复杂了，要专门做一套治理平台。

2022-12-08

2850

大数据架构系列：Clickhouse + Kafka 的方案组合

云数据仓库 ClickHouse kafka 大数据大数据解决方案

如图1，是大家常见的一种用法，所有CH节点参与分发数据的原因是因为大家想把唯一Key相同的数据分发到同一个节点，好做一些SQL查询。

2022-11-21

1.6K0

大数据架构系列：预计算场景的数据一致性问题

大数据分布式

结合 Wikipedia 和业界一些数据（仓）库产品对物化视图的定义，简单说明：物化视图是原始数据某个时刻快照的预计算结果，其中原始数据一般为表或者多张表的join，预计算过程一般是较为简单的sql查询，结果一般都会存储到新的表。可以将物化视图的生成过程抽象为Source、Transform、Sink，数据可以落地到Hdfs、Cos、Clickhouse、kudu等，用来减少数据的重复计算；另外某些场景需要在极短的时间内进行响应，如果直接查询原始数据，一般无法达到业务的需求，预计算后速度可以大大提升；在某些场景下物化视图也是数据资产，例如Cube（维度建模、kylin的概念）代表的业务模型，有时为了节省存储成本，只保留物化视图。

2022-11-21

1.1K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态