开发工程师

随手写个文章

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

但是效率相比手写（专家）差的较多，通过LLVM将树形执行逻辑（OptimizedPlan）进行二次优化转成机器码执行，进一步提高效率；

Efficiently Compiling Efficient Query Plans for Modern Hardware（解读）

1. 如何将意图明确的告知LLM是非常关键的，可以通过流程化（任务分解，、分治、结构化）的方式进行子意图聚焦；

AI编程的理解和CoLadder: 论文

在诸如Facebook等社交网络中进行搜索所面临的挑战与传统网页搜索不同：除了查询文本外，还需考虑搜索者的上下文以提供相关结果。用户的社交图谱是这一上下文的组成部分，也是Facebook搜索的独特之处。尽管基于嵌入的检索（EBR）已在网页搜索引擎中应用多年，但Facebook搜索此前仍主要基于布尔匹配模型。

翻译: Embedding-based Retrieval in Facebook Search

许多组织已经接受了“湖仓”数据管理范式，这种范式涉及在开放的、非结构化的数据湖之上构建结构化的数据仓库。这种方法与传统的、封闭的、关系型数据库形成鲜明对比，并为分布式查询处理器的性能和稳定性带来了挑战。首先，在大规模的、开放的湖仓中，处理未策划的数据、高摄入率、外部表或者深度嵌套的模式时，维护完美且最新的表和列统计数据往往是昂贵或浪费的。其次，由于连接词谓词、连接和用户定义函数等固有的基数估计不完美，可能会导致糟糕的查询计划。第三，对于涉及的数据量之大，严格依赖于静态查询计划决策可能导致性能和稳定性问题，例如过量的数据移动、显著的磁盘溢出或高内存压力。为了应对这些挑战，本文介绍了我们对自适应查询执行（AQE）框架的设计、实现、评估和实践，该框架利用查询计划中的自然执行管道中断来收集准确的统计数据，并在运行时重新优化以提升性能和健壮性。在TPC-DS基准测试中，该技术展示了高达25倍的单查询加速。在Databricks，AQE已经在生产环境中成功部署多年。它支持通过关键企业产品如Databricks Runtime、Databricks SQL和Delta Live Tables，每天处理数亿查询和ETL作业，处理数以艾字节计的数据。

Adaptive and Robust Query Execution for Lakehouses at Scale（翻译）

湖仓一体（Lakehouse）是近年来比较火的大数据概念，它将数据湖（Data Lake）和数据仓库（Data Warehouse）的优势结合起来，为企业提供了更强大、更灵活的数据管理解决方案。Gartner 技术曲线的描绘中，Lakehouse是一项非常重要技术，预计还有2～5年进入平台期，国内是5～10年。

【天穹OS】虚拟表：支持极速查询的下一代湖仓一体新范式

过去几十年，随着数据量的爆炸性增长和数据处理需求的不断演进，我们目睹了大数据架构的不断发展和变革。在这个过程中，大数据技术和服务的发展取得了令人瞩目的成就，为各行业的业务智能化提供了强大的支持，数据驱动进行决策已成为共识。

下一代大数据技术架构：Data Fabric？

当我们手里有一个固定资源的集群时，需要做两件事：1. 资源管理，2. 成本效率管理；为了让进程跑在合适的机器我们需要任务调度器（深度学习任务跑在带GPU的物理机上），为了提高资源利用率（降本提效）则需要资源调度器（根据标签、算法进行调度）。

如何提高集群资源利用率？

数据管理系统中的分析查询处理性能主要取决于系统的查询优化器的能力。数据量的增加和对处理复杂分析查询的兴趣的增加促使Pivotal构建了一个新的查询优化器。

Orca: A Modular Query Optimizer Architecture for Big Data（翻译）

基于Cascades框架，Columbia优化器专注于优化的效率。本章将详细描述Columbia优化器的设计和实现，并进行与Cascades的比较讨论。

EFFICIENCY IN THE COLUMBIA DATABASE QUERY OPTIMIZER（翻译）优化器架构

查询优化是数据库系统可以实现显著性能提升的领域。现代数据库应用程序需要具有高度可扩展性和效率的优化器。尽管在这些领域已经做出了十多年的努力，但优化器研究的最新成果仍然无法满足业务的需求。我们 Columbia 项目的目标是为查询优化提供高效且可扩展的工具，特别是针对复杂查询和新的数据模型。本论文的主要关注点是效率。

EFFICIENCY IN THE COLUMBIA DATABASE QUERY OPTIMIZER（翻译）介绍

原文标题：The Art of Balance: A RateupDB（TM） Experience of Building a CPU/GPU Hybrid Database Product

A RateupDB（TM）Experience of Building a CPU/GPU Hybrid Database Product（翻译）

这篇论文描述了一个新的可扩展查询优化框架，解决了 EXODUS 和 Volcano优化器/生成器的许多不足之处。除了可扩展性、基于EXODUS和Volcano原型的动态规划和记忆化，这个新的优化器提供了以下功能：

The Cascades Framework for Query Optimization(翻译)

在预训练之后，LLMs可以获得解决各种任务的通用能力。然而，越来越多的研究表明，LLMs的能力可以根据特定目标进行进一步的适应调整。在本节中，我们介绍了两种主要的适应预训练LLMs的方法，即指令调整和对齐调整。前一种方法主要旨在增强（或解锁）LLMs的能力，而后一种方法旨在将LLMs的行为与人类的价值观或偏好相一致。此外，我们还将讨论快速模型适应的高效调整方法。接下来，我们将详细介绍这三个部分。

基于AIGC的写作尝试：A Survey of Large Language Models（论文翻译）（下）

自从图灵测试在20世纪50年代提出以来，人类一直在探索机器掌握语言智能的方法。语言本质上是一个由语法规则控制的复杂、精细的人类表达系统。开发能够理解和掌握语言的能力强大的人工智能（AI）算法是一个重大挑战。作为一种主要方法，语言建模在过去二十年中已经被广泛研究，从统计语言模型发展到神经语言模型。最近，通过在大规模语料库上预训练Transformer模型，提出了预训练语言模型（PLMs），在解决各种自然语言处理（NLP）任务方面表现出强大的能力。由于研究人员发现模型扩展可以提高模型容量，他们进一步通过将参数规模增加到更大的尺寸来研究扩展效果。有趣的是，当参数规模超过一定水平时，这些扩大的语言模型不仅可以实现显著的性能提升，而且还表现出一些特殊的能力（例如上下文学习），这些能力在小规模语言模型（例如BERT）中不存在。为了区分不同参数规模的语言模型，研究界为具有显著规模（例如包含数十亿或数百亿个参数）的PLMs创造了大型语言模型（LLM）这个术语。最近，学术界和工业界对LLMs的研究取得了很大进展，其中一个显著的进展是ChatGPT的推出（一种基于LLMs开发的强大AI聊天机器人），引起了社会的广泛关注。LLMs的技术进化对整个AI社区产生了重要影响，这将革命性地改变我们开发和使用AI算法的方式。考虑到这种快速的技术进步，在本次调查中，我们通过介绍背景、关键发现和主流技术，回顾了LLMs的最新进展。特别是，我们关注LLMs的四个主要方面，即预训练、适应调整、利用和容量评估。此外，我们还总结了开发LLMs的可用资源，并讨论了未来方向的剩余问题。本次调查提供了LLMs文献的最新综述，可供研究人员和工程师使用。

基于AIGC的写作尝试：A Survey of Large Language Models（论文翻译）（上）

Presto是一个开源的分布式SQL查询引擎，支持多个EB级数据源的分析工作负载。Presto用于低延迟的交互式用例以及Meta的长时间运行的ETL作业。它最初于2013年在Meta推出，并于2019年捐赠给Linux基金会。在过去的十年中，随着Meta数据量的超级增长以及新的SQL分析需求，维护查询延迟和可扩展性对Presto提出了令人印象深刻的挑战。其中一个最重要的优先事项是确保查询可靠性不会随着向更小、更弹性的容器分配的转变而退化，这需要查询在显著较小的内存余量下运行，并且可以随时被抢占。此外，来自机器学习、隐私政策和图形分析的新需求已经促使Presto维护者超越传统的数据分析。在本文中，我们讨论了近年来几个成功的演变，这些演变在Meta的生产环境中将Presto的延迟和可扩展性提高了数个数量级。其中一些值得注意的是分层缓存、本地矢量化执行引擎、物化视图和Presto on Spark。通过这些新的能力，我们已经弃用了或正在弃用各种传统的查询引擎，以便Presto成为为整个数据仓库服务的单一组件，用于交互式、自适应、ETL和图形处理工作负载。

基于AIGC的写作尝试：Presto: A Decade of SQL Analytics at Meta（翻译）

本文的目的是为读者提供全面了解Apache Hudi的知识。具体而言，读者可以了解到Apache Hudi是什么、它的架构如何工作、常见的使用案例以及与之配合工作的最佳实践。此外，读者还将获得有关如何设置和配置Apache Hudi，以及优化其性能的技巧的见解。通过阅读本文，读者应该对Apache Hudi有扎实的理解，并了解如何在其数据处理流程中利用它的优势。

基于AIGC写作尝试：深入理解 Apache Hudi

现代组织不断从各个来源产生和收集大量数据。数据可能存储在不同的格式、位置，并且在容量、速度和种类上可能存在差异，使用户难以快速提取其中的价值。数据孤岛在许多公司都是存在，为了解决数据孤岛问题，企业可以采取的措施有：数据集成、建立数据共享机制、数据标准化、数据虚拟化等。其中数据虚拟化通常需要一个引擎支持读取多源的数据，且统一访问逻辑；业界解决改场景的引擎有Spark、Presto、Dremio等，本文接下来主要描述Dremio。

基于AIGC写作尝试：深入理解 Dremio

在当前的数据驱动时代，大量的数据需要在不同系统和应用程序之间进行交换和共享。这些数据可能来自于不同的源头，如传感器、数据库、文件等，具有不同的格式、大小和结构；不同系统和编程语言的运行环境也可能存在差异，如操作系统、硬件架构等，进一步增加了数据交换的复杂度和难度。为了将这些数据有效地传输和处理，需要一个高性能的数据交换格式，以提高数据交换和处理的速度和效率。传统上，数据交换通常采用文本格式，如CSV、XML、JSON等，但它们存在解析效率低、存储空间占用大、数据类型限制等问题，对于大规模数据的传输和处理往往效果不佳。因此，需要一种高效的数据交换格式，可以快速地将数据从一个系统或应用程序传输到另一个系统或应用程序，并能够支持不同编程语言和操作系统之间的交互。

基于AIGC写作尝试：深入理解 Apache Arrow

当前业界在做物化视图增量更新时，物化视图一般会存储在一张分区表中，以分区为粒度进行增量、刷新、删除；不然就需要生成大量的物化视图元数据或每次都要重新计算历史所有的物化数据，成本是巨大的。上述物化视图的增量为基础表数据append增加新分区，刷新为先删除后增加，删除即删除对应的分区；当前的物化视图分区表不允许有空洞，否则会导致物化视图无法命中；其他一致性问题见物化视图一致性问题。

一种基于分区列谓词补偿的物化视图增量更新方法

大数据发展至今，各大公司的数据量已经是非常庞大了，虽然通用计算框架Spark/Presto等已经能满足用户的很多查询需求，但是更快的查询还是大家向往的。OLAP框架Doris/StarRocks/Clickhouse等在业界已经很火了，虽然有着非常强的计算层，但是在存储层的优化也是非常多的，不仅有特殊的编码、压缩还有一大堆的可配置索引，例如BitMap/HLL维度类型可以快速的计算去重的场景等，ZSTD算法等极致压缩，倒排索引点查等等。

大数据架构系列：从索引到预计算

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了随手写个文章专栏，为你提供了随手写个文章的相关文章，致力于帮助开发者快速成长与发展。

随手写个文章

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐