作者 | Dana Van Aken、Andy Pavlo、Geoff Gordon 编译 | AI100 数据库管理系统（DBMSs）是所有数据密集型应用的最重要组成部分。但是由于他们包含了数百个配置“旋钮”，因此很难管理。这些“旋钮”负责控制一些因素，其中包括用于缓冲储存器的内存容量，以及将数据写入存储盘的频率次数。机构和组织会经常雇佣专家来帮助他们协调各项目，但是很多情况下，聘请这些专家花费过高。 为了让每个人，甚至包括那些没有数据库管理相关技术的人，都能轻松地配置DBMS，卡耐基梅隆大学的学生
在数据处理领域，数据分析师在数据湖上运行其即席查询。数据湖充当分析和生产环境之间的接口，可防止下游查询影响上游数据引入管道。为了确保数据湖中的数据处理效率，选择合适的存储格式至关重要。
我们曾经分享过一篇文章，云时代的DBA，何去何从？，在文中我们讨论了Oracle最近几年重点转而向云的变革，它全力以赴在做的一件事情就是把所有的产品和服务转移到云上来。 云技术改变了数据库领领域的竞争
概述 最近几年，特别是随着云计算的发展，出现了行业向后重叠和推动的情况。数据库龙头企业Oracle最近几年重点转而向云的变革，它全力以赴在做的一件事情就是把所有的产品和服务转移到云上来。云技术改变了数
部署在亚马逊的云服务器中被认为是实现高可扩展性的好方法，同时只需要为您所使用的计算能力支付费用。不过您要如何从技术中获得最佳的可扩展性呢？
本文介绍了如何提升云可扩展性的三种方法。首先，使用自动缩放（Auto-scaling）可以自动根据负载调整实例数量。其次，水平扩展数据库层（Horizontally scaling the database tier）可以通过增加只读实例来提高数据库性能。最后，使用分区的EBS卷可以进一步提高性能。
OLAP 是一个很卷的赛道，创业公司也众多。在本文中，笔者基于 10+ 年的大数据与数据仓库的工作经验，就目前的主流趋势：离在线一体化、引擎一体化、云原生化等写一些思考，抛砖引玉，希望能与各位共同探讨。
随着项目逐步以微服务开发为趋势，逐渐呈现一个服务对应一个数据库。从中产生了分布式事务的问题：一个操作先后调用不同的服务，要保证服务间的事务一致性，这就是分布式事务解决的问题。
最近有新手做性能测试，不停地来问我问题，感觉他连很基本的概念都不清楚，就开始轰轰烈烈的干起来了，出了问题，就指望我手把手来解决。
本次分享将介绍Pigsty：PostgreSQL RDS的Me-Better开源替代。Pigsty是如何从可观测性，可靠性，可维护性，可用性，可扩展性与安全性六个维度上，让裸奔的PostgreSQL内核成为全盛状态的六边形战士，以云数据库5%～30%的成本，提供更好的生产级关系型数据库服务（RDS）。
不做铺垫，因为公司在进行数据库转型，ORACLE to MYSQL 基于云上的MYSQL 在使用中主要分为两派 1 传统型的RDS ，也就是与我们自己安装的数据库有差别，但差别不大， 2 根据云上的硬件环境，最大最充分的修改数据库的内部结构，让数据库更能使用到我们的硬件环境，去适配他。
MySQL性能压测或者基准测试看起来很简单，使用sysbench，tpcc工具跑跑拿到数据就好，其实压测是一个技术活儿，尤其是涉及到性能对比的测试，因为不同场景/不同厂商的产品的参数设置不同，测试的结果也不一样。如果不阐明具体的参数配置差异，直接给出压测结果可能给其他人带来误导。
内容来源：2017 年 12 月 21 日，驻云科技资深架构师翟永东在“云时代企业架构的搭建”进行《云上架构如何实现高性能和高可用》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。 阅读字数：2851 | 8分钟阅读 摘要 云上架构需要关注多方面的因素，本次主要讲的是高可用和高性能，从这两方面展开深度的解析如何搭建完善的云上架构。 嘉宾演讲视频及PPT回顾：http://suo.im/4sKQd8 云上架构概述 云上搭建架构不单单需要考虑到性能和可用性
Oracle RAC是当前主流的Oracle数据库高可用架构，被众多用户用于核心系统，然而，RAC架构在提供高可用的同时，也面临数据库性能压力这一巨大挑战。性能瓶颈可能出现在RAC架构的网络、处理器等多个领域，但最常见的仍然来自于缓慢的硬盘驱动器。随着应用对更快的随机输入输出需求不断地增加，这些机械硬盘驱动器更难满足这些需求。在此环境下，云和恩墨的超融合存储解决方案——zData Light数据库一体机应运而生：
如果这时候直接去看MySQL、Mongo、HBase、Redis等数据库的用法、特点、区别，其实有点太着急了。
在当今数字化的世界中，网络性能是网络工程师日常工作中的重要关注点。无论是为企业构建强大的数据中心架构、维护云服务的高可用性，还是确保用户在浏览网页或使用应用程序时获得卓越的体验，理解和管理网络性能是至关重要的。在这个过程中，我们经常涉及到一系列关键概念，包括延迟、带宽、吞吐量和响应时间。
本文主要描述ThinkSNS Plus服务端系统性能、服务端高性能部署方案及优化措施、服务端系统持续优化及升级策略。本文未涉及前端（PC站点、H5站点、Android、IOS）性能方案。
“性能”这个词过于含糊，更准确的说应该是：延迟（latency）和吞吐量（throughput）。本文举几个简单的例子来解释在固定线程池大小的情况下，不同的并行程度与延迟和吞吐量的关系。
吞吐量是指对网络、设备、端口、虚电路或其他设施，单位时间内成功地传送数据的数量（以比特、字节、分组等测量）。
了解为什么在数据库前放置缓存通常效果有限，以及一些关于缓存实际上是一件好事的情况的指南。
在设计使用文本生成模型的系统时，许多人首先会转向专有服务，例如 OpenAI 的 GPT-4 或 Google 的 Gemini。毕竟，这些是目前最大、最好的模型，那么为什么还要使用其他模型呢？最终，应用程序会达到这些 API 不支持的规模，或者它们变得成本高昂，或者响应时间太慢。开源模型可以解决所有这些问题，但如果你尝试以使用专有 LLM 的方式使用它们，你将无法获得足够的性能。
本文将介绍一种提升 S3 读取吞吐量的新方法，我们使用这种方法提高了生产作业的效率。结果非常令人鼓舞。单独的基准测试显示，S3 读取吞吐量提高了 12 倍（从 21MB/s 提高到 269MB/s）。吞吐量提高可以缩短生产作业的运行时间。这样一来，我们的 vcore-hours 减少了 22%，memory-hours 减少了 23%，典型生产作业的运行时间也有类似的下降。
本文介绍了一种容量推荐模型，实现方式相对相对比较简单，且已在Uber内部使用，可以依照文中的方式开发一版容量推荐系统。
近期，掘金发出技术专题的邀约，我也是紧跟潮流，写了一篇关于网络协议的性能优化与性能评估的文章，本篇文章主要讲了三个大方向包括：网络协议的性能指标、性能优化策略、性能评估方法；并针对这三个方面进行深入的分析，希望与大家一起交流分享。
Kafka和ActiveMQ是两种流行的消息中间件系统，都被广泛用于构建可扩展的、高性能的分布式应用。它们各自有着一些独特的优势和实现方式。
今天，AWS首席布道者Jeff Barr在其博客上透露，Amazon消费者业务正式完成了对Oracle数据库的迁移工作，关闭了最后的Oracle数据库。Amazon将近7500个Oracle数据库、75 PB级数据库全部迁移到AWS数据库服务，包括Amazon DynamoDB，Amazon Aurora，Amazon Relational Database Service（RDS）和Amazon Redshift。
Kafka引入了消费者事务（Consumer Transactions）来确保在消息处理期间维护端到端的数据一致性。这使得消费者能够以事务的方式处理消息，包括从Kafka中读取消息、处理消息和提交消息的offset。以下是有关Kafka消费者事务的详细信息：
机器之心报道 编辑：泽南 1750 亿参数，只需要一块 RTX 3090，ChatGPT 终于不再是大厂专属的游戏？ 计算成本是人们打造 ChatGPT 等大模型面临的重大挑战之一。 据统计，从 GPT 进化到 GPT-3 的过程也是模型体量增长的过程 —— 参数量从 1.17 亿增加到了 1750 亿，预训练数据量从 5GB 增加到 45TB，其中 GPT-3 训练一次的费用是 460 万美元，总训练成本达 1200 万美元。 除了训练，推理也很花钱。有人估算，现在 OpenAI 运行 ChatGPT
在2016年国家广域网报告调查中，有要求受访者表明对其WAN影响最大的因素。考虑到与局域网不同，广域网有一些性能限制特征，如包丢失和延迟程度高，因此受访者表示的前五个因素中有两个与性能相关并不奇怪。由于我们正在经历从传统WAN到SD-WAN的根本转变，因此现在是了解SD-WAN解决方案如何提高网络性能的重要时刻。
关于发号器的使用，其实有一个大背景，那就是关于主键的一些设计问题，在MySQL中如果一张表没有主键，实际的数据处理就有点麻烦了。
这篇文章包含了Slurm管理员的信息，专门针对高吞吐量计算，即执行许多短作业。为高吞吐量计算获得最佳性能需要一些调整。
现在有一个task，它的执行时间分为2部分，第一部分做数学运算，第二部分等待IO。这两部分就是所谓的计算操作与等待操作。
十一假期马上就过完了，不知道各位小伙伴玩的怎么样啊，是否有遇到“人在囧途”或者是否看到了处处大海。微软于2018年9月24日-28日在美国召开了Ignite 2018大会，并于10月2日正式发布了Windows Server 2019，这在微软忠实粉丝中可是一件大事，下面笔者就趁着假期间隙来为大家揭开Windows Server 2019的面纱，看看Windows Server 2019为我们带来了哪些激动人心的新功能。
1、蓝牙版本与PHY： 蓝牙设备的版本和物理层（PHY）对于吞吐量有很大影响。例如，R128设备支持蓝牙5.0，而蓝牙5.0版本后支持2M PHY，使用2M PHY会获得更高的数据吞吐量。
在无线网络世界中，有802.11b、802.11g、802.11n、802.11ac等技术，最近，Wi-Fi 6开始慢慢热了起来，新一代无线网络网络仍然是与以太网兼容的 IEEE 802.11 协议的一部分，被称为 802.11ax，现在越来越多的无线路由器、笔记本开始支持Wi-Fi 6，那么Wi-Fi 6到底有多快呢？今天来测试一下。
Kafka 是一个分布式流处理平台和消息系统，用于构建实时数据管道和流应用。它最初由 LinkedIn 开发，后来成为 Apache 软件基金会的顶级项目。
以上这些技术设计使 Kafka 既可以作为高吞吐的消息队列,也可以作为低延迟的发布-订阅系统,性能非常优异。
常用的网站性能测试指标有：吞吐量、并发数、响应时间、性能计数器等。 并发数 并发数是指系统同时能处理的请求数量，这个也是反应了系统的负载能力。 响应时间 响应时间是一个系统最重要的指标之一，它的数值大小直接反应了系统的快慢。响应时间是指执行一个请求从开始到最后收到响应数据所花费的总体时间。 吞吐量 吞吐量是指单位时间内系统能处理的请求数量，体现系统处理请求的能力，这是目前最常用的性能测试指标。 QPS（每秒查询数）、TPS（每秒事务数）是吞吐量的常用量化指标，另外还有HPS（每秒HTTP请求数）。 跟吞
关于 JAVA 在开发几年之后，该学的技术都已经学到了之后，势必就要开始学习一些优化方面的工作，比方说 SQL 的优化，毕竟能写的好 SQL 的人，在公司中那是非常受欢迎的，毕竟谁不想让自己的接口秒出接口呢？但是我们要学的也不光是 SQL 的优化，有时候还有对 JAVA 的一些性能，做出优化操作，让我们的代码更健壮，今天我们就来聊聊这个 JAVA 性能优化的事情。
网络协议在计算机通信中扮演着重要的角色，它们定义了数据在网络中的传输方式和规则。而对于网络协议的性能优化，尤为重要，因为它直接关系到网络通信的延迟、吞吐量、带宽利用率等方面。本文将探讨一些常见的网络协议性能优化技术，以提高网络通信的效率和速度。
在B2B业务领域，系统吞吐量是衡量一个系统性能好坏的重要指标。对于Java项目而言，提升系统吞吐量意味着在有限的硬件资源下，能够处理更多的业务请求，保证系统的稳定性和高效性。以下是一些详细且专业的解决方案，帮助提升Java项目的系统吞吐量。
有位工作5年的小伙伴问我说，为什么Netty线程池默认大小为CPU核数的2倍，今天，我花2分钟时间给大家专门分享一下我对这个问题的理解。
业务价值->承载高并发->性能优化。 一切的前提是业务价值需要。如果没有足够价值，那可读性才是第一，性能在需要的地方是no.1，但不需要的地方可能就是倒数第一。当下技术框架出来的软件差不到哪去，没有这种及时响应诉求的地方，削峰下慢慢跑就是了。（但工作中常需要在缺少价值的地方着手性能优化。异步，并发编程，逻辑缓存，算法真的会加剧系统的复杂度，得不偿失。如果没那个价值，简单才是王道）。
高可用性指系统无中断地执行其功能的能力，代表系统的可用性程度。是进行系统设计时的准则之一。高可用性系统与构成该系统的各个组件相比可以更长时间运行。也就是说高可用性是确保系统达到高水平正常运行时间的关键指标。
响应时间是一个系统最重要的指标之一，它的数值大小直接反应了系统的快慢。响应时间是指执行一个请求从开始到最后收到响应数据所花费的总体时间。
串行回收指的是在同一时间段内只允许有一个CPU用于执行垃圾回收操作，此时工作线程被暂停，直至垃圾收集工作结束。
在基于transformer的自回归语言模型（LMs）中，生成令牌的成本很高，这是因为自注意力机制需要关注所有之前的令牌，通常通过在自回归解码过程中缓存所有令牌的键值（KV）状态来解决这个问题。但是，加载所有先前令牌的KV状态以计算自注意力分数则占据了LMs的推理的大部分成本。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
