个推专注为开发者们提供消息推送服务多年。通过个推SDK，手机终端与服务器建立长连接，维持在线状态。然而在网络异常等情况下，消息无法实时送达到终端用户，因而推送服务器建立了一份离线消息列表，以待用户重新登录时，进行消息的下发。这部分数据存储在个推Redis集群，整个集群包括主从共百余个实例，key的数量在10亿级别，存储空间在T级别，带来了一定的维护成本和运维挑战。作为个推的后端开发工程师，我们也一直在寻找高性价比的方案。
从论文的题目出发，这篇文章的核心在于实时操作数据库的架构，在论文引言之中对Aerospike的定位是一个高性能分布式数据库，用于处理实时的交互式在线服务。所以说，大多数使用Aerospike的场景是实时决策系统，它们有海量的数据规模，并且有严格的SLA要求，同时是百万级别的 QPS，具有ms的查询时延。显然，这样的场景使用传统的 RDMS 是不现实的，在论文之中，提到 Aerospike 的一个典型的应用场景，广告推荐系统，我们来一起看看它们是如何契合的：
这是一个技术创新重塑工作负载的时代，人工智能和数据分析在其中正变得越来越重要。对于大多数企业而言，它们是驱动企业业务变革的关键。
下载地址：Releases · prometheus/node_exporter · GitHub
BSV 协会使用区块链优雅地解决了工程难题——创建无界限且线性可扩展的核心银行系统。
大家在日常工作中可能会经常遇到系统更新迭代与集群重建等需求，不可避免会涉及到服务的迁移更换操作。针对不同场景和诉求，具体的处理方式会不太一样，但大致的思想和方法还是具有一定的普适意义。本文主要想和大家分享一下团队最近经历的在保障大数据高并发、低延时、高吞吐读写的同时，如何不停机地在 AWS 上更换关键大数据服务的实践，供感兴趣的同学参考。
Rust 宏定义，拯救运行时错误 如果你碰巧在 Rust 应用程序中使用 Lua ，你可以编写一个小宏，在 Lua 上强制执行它并运行 Lua 解释器以在编译时捕获相关错误。作者以 Aerospike 分布式键值存储为🌰，展开了如何通过 rust 宏中展开 lua 解析到 AST 上并校验 Aerospike 规则的方法。 完整示例：https://github.com/AdRoll/aerospike-code-gen/blob/master/src/lib.rs 原文：https://tech.next
-- https://github.com/aerospike/aerospike-lua-core/blob/master/src/as.lua -- https://github.com/aerospike/aerospike-client-java -- Create a new Map my merging two maps. -- The function `f` is a function used to merge the value of matching keys. -- function
了解为什么在数据库前放置缓存通常效果有限，以及一些关于缓存实际上是一件好事的情况的指南。
大数据时代，企业对于DBA也提出更高的需求。同时，NoSQL作为近几年新崛起的一门技术，也受到越来越多的关注。本文分享两大方向内容：一、公司在KV存储上的架构演进以及运维需要解决的问题；二、对NoSQ
大数据时代，企业对于DBA也提出更高的需求。同时，NoSQL作为近几年新崛起的一门技术，也受到越来越多的关注。本文将基于个推SRA孟显耀先生所负责的DBA工作，和大数据运维相关经验，分享两大方向内容：
商业和消费者正在产生TB乃至PB级数据，大量公司也加大了研发，致力于收集、存储、管理、分析数据。美国IT网站CRN评出了2014年大数据领域格外瞩目的十家新兴大数据创业公司，不妨一看。 近年来，很少有
机器之心原创 作者：张倩 内存不够只能割肉买 DRAM？英特尔：很多时候大可不必。 人们常说，新一代的人工智能浪潮是由数据、算法和算力来驱动的。最近几年模型参数的爆炸式增长更是让大家看到了算力的基础性作用。 为了配合企业用户对于算力的强烈需求，当前的很多 AI 硬件（比如 GPU）都铆足了劲儿地提高峰值算力，但这种提升通常以简化或者删除其他部分（例如内存的分层架构）为代价[1]，这就造成 AI 硬件的内存发展速度远远落后于算力的增长速度。 SOTA Transformer 模型参数量（红点）和 AI 硬件
在有赞早期的时候，当时只有 MySQL 做存储，codis 做缓存，随着业务发展，某些业务数据用 MySQL 不太合适， 而 codis 由于当缓存用， 并不适合做存储系统， 因此， 急需一款高性能的 NoSQL 产品做补充。考虑到当时运维和开发人员都非常少， 我们需要一个能快速投入使用， 又不需要太多维护工作的开源产品。 当时对比了几个开源产品， 最终选择了 aerospike 作为我们的 KV 存储方案。 事实证明， aerospike 作为一个成熟的商业化的开源产品承载了一个非常好的过渡时期 在很少量的开发和运维工作支持下， 一直稳定运行没有什么故障， 期间满足了很多的业务需求， 也因此能抽出时间投入更多精力解决其他的中间件问题。
Spring Data 的委托是为数据访问提供熟悉且符合 Spring 的编程模型，同时仍保留着相关数据存储的特殊特征。
说到共享内存，有过操作系统学习的童靴应该十分熟悉，往往聊到进程之间通信的4种方式时就能脱口而出（面试最常见的问题之一啊，哈哈哈~~）：
简单来说，如果数据访问拖慢了您的应用程序，唯一的解决方案是更快的数据库，而不是缓存。
【编者按】日前，来自Aerospike公司的Anshu和Rajkumar在High Scalability网站上发表文章宣称其能 以1.68美元/小时的成本获取百万TPS，受此影响，Redis Labs的Itamar Haber 利用非基准测试程序，在作者看来基准测试程序往往是一个陷阱，那么Redis的测试结果到底如何呢？ 以下为译文： 前不久有一天，我看到来自Aerospike公司的Anshu和Rajkumar写的文章。非常喜欢这篇文章，给我印象特别深刻的是他们对EC2实例的重度调整继而突破10
降低成本是当务之急，尤其是在冠状病毒疫情蔓延期间，因为IT预算将面临更严格的审查。随着企业的员工在家远程工作，以及将来某个时候将回到企业办公室工作，监视各种云计算应用程序使用模式的变化是很重要的。企业可以通过调整预算、预先购买计算资源、制定支出协议，以及终止未使用和未确认的支出来降低成本。
今天带大家了解一下我们正在使用的大数据技术栈的一些基本概念。不用担心，这不会花费太多时间，但理解核心思想是必要的。
首先要介绍的是，什么是实时竞价广告？如图11-9所示 📷 图11-9 实时竞价广告模式 与广告业务相关的术语 首先介绍几个与广告业务相关的术语： RTB（RealTime Bidding）实时竞价：一种利用第三方技术在数以百万计的网站上针对每一个用户展示行为进行评估以及出价的竞价技术。与大量购买投放频次不同，实时竞价规避了无效的受众到达，针对有意义的用户进行购买。它的核心是DSP平台（需求方平台），RTB对于媒体来说，可以带来更多的广告销量、实现销售过程自动化及减低各项费用的支出。而对于广告商和代理公司来说
时至今日，大数据这个概念已充斥了整个IT界，各种“搭载”了大数据技术的产品，各种用于处理大数据工具更如雨后的春笋触目皆是。同时，如果某个产品还没抱上大数据的大腿，如果某个机构还没捣鼓过基于Hadoop、Spark、Impala、Storm等高大上的工具，更会予以过时黄花的评价。然而，你的数据量真的需要使用Hadoop这样工具吗？你业务处理的数据类型真的需要大数据技术来支撑吗？ 文章出自有着多年从业经验的数据科学家Chris Stucchio，纽约大学柯朗研究所博士后，搞过高频交易
传统关系型数据库在诞生之时并未考虑到如今如火如荼的移动、社交以及大数据负载类型，同时也并不适合处理极端规模处理任务。不过大家不必担心，十六家专业企业已经为我们带来他们各自的次世代NoSQL与NewSQL选项。
Bootstrapping： Kickstart、Cobbler、rpmbuild/xen、kvm、lxc、Openstack、 Cloudstack、Opennebula、Eucalyplus、RHEV
SegmentFault D-Day 2015 南京开源站技术沙龙活动昨天在36Kr南京氪空间成功举办，这也 是在南京氪空间举办的第一场大型活动，本次活动邀请到了扇贝网产品及技术负责人吴 焱红，苏宁云
运维精简工具箱 Bootstrapping： Kickstart、Cobbler、rpmbuild/xen、kvm、lxc、 Openstack、 Cloudstack、Opennebula、Eucalyplus、RHEV 配置类工具: Capistrano、Chef、puppet、func、salstack、Ansible、 rundeck、CFengine、Rudder 自动化构建和测试: Ant、Maven、Selenium、PyUnit、QUnit、JMeter、Gradle、 PHPUni
内容来源：2018 年 09 月 08 日，携程大数据平台技术总监张翼在“2018开源数据库论坛暨首届MariaDB中国用户者大会”进行《大数据平台在携程的实践》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
梦晨 萧箫 发自 凹非寺 量子位 | 公众号 QbitAI 不得不说，Colossal-AI训练系统这个开源项目的涨星速度是真快。 在“没十几块显卡玩不起大模型”的当下，它硬是只用一张消费级显卡，成功单挑了180亿参数的大模型。 难怪每逢新版本发布前后，都会连续好几天霸榜GitHub热门第一。 △使用github-star-history制图 之前我们也介绍过，Colossal-AI的一个重点就是打破了内存墙限制，如训练GPT-2与英伟达自己的Megatron-LM，相比GPU显存最高能节省91.2%。
在某些情况下，Pod 的排序可能是一个使用案例，我们需要确保某些容器在启动应用程序代码之前已经正常运行。假设我们有一个 Java 应用程序，需要一个数据库（Mysql）、缓存（Aerospike/Redis）和 Kafka 来提供流量。与此同时，我们还需要这些依赖关系是特定于实例或与应用程序堆栈本地关联的。在这种情况下，在 v1.28 版本之前，Kubernetes 没有提供一个开箱即用的解决方案。对于版本小于 1.28 的集群，没有正式的解决方法。为了缓解这个问题，我们有另一种不太知名的开源解决方法，叫做 Kubexit。
过去多年，华为智能产品线得到了很大发展。华为智能计算产品线SSD业务总经理赵春辉介绍，今年Q1比去年同期增长70%以上，业务发展势头旺盛。这得益于公司在相关领域的技术投入，也离不开英特尔这样合作伙伴的帮助。
NoSQL 一种称为NoSQL的新形式的数据库（Not Only SQL）已经出现，像Hadoop一样，可以处理大量的多结构化数据。但是，如果说Hadoop擅长支持大规模、批量式的历史分析，在大多数情况下（虽然也有一些例外），NoSQL 数据库的目的是为最终用户和自动化的大数据应用程序提供大量存储在多结构化数据中的离散数据。这种能力是关系型数据库欠缺的，它根本无法在大数据规模维持基本的性能水平。 在某些情况下，NoSQL和Hadoop协同工作。例如，HBase是流行的NoSQL数据库，它仿照谷歌的Big
如今，缓存系统的应用非常广泛，能够用来提高并发数、数据吞吐量，提高快速响应能力。那么当数据量达到一定程序，单机环境可能就显得有些力不从心了，就需要一个分布式缓存系统。
导读：如今，缓存系统的应用非常广泛，能够用来提高并发数、数据吞吐量，提高快速响应能力。那么当数据量达到一定程序，单机环境可能就显得有些力不从心了，就需要一个分布式缓存系统。
本文译自：https://medium.com/@aditya.barik32/ordering-of-container-within-pod-a423d2e5ba52
在这个图中，连接客户端需要能够使用单个URL与Pulsar集群通信。在本例中，pulsar-cluster.acme.com对所有消息处理brokers进行了抽象。Pulsar消息brokers在BookKeeper的bookies的机器上运行;brokers和bookies也要依赖ZooKeeper。
开门见山，2022 这一年站在今天看，对每一个人都是很 “难” 的，2022年的起始的一些观点，放到现在是否正确，通过一些已经发布的文字我们回顾一下。
2022年4月7日，Tapdata 正式启动 PDK 插件生态共建计划，致力于全面连接数据孤岛，加速构建更加开放的数据生态，以期让各行各业的使用者都能释放数据的价值，随时获取新鲜的数据。截至目前，已有超10家数据库领域活力代表，作为首批生态共建伙伴加入：
Spring Data春季数据 2021.0.5 OVERVIEW 概览 LEARN 学习 Spring Data’s mission is to provide a familiar and consistent, Spring-based programming model for data access while still retaining the special traits of the underlying data store.
多年来，人们一直在猜测人工智能对企业产生的潜在影响。现在，我们看到来自不同行业的公司开始利用大型语言模型 (LLM)和生成式人工智能 (GenAI)。麦肯锡认为，全球经济可能从 GenAI 的采用中受益高达4.4 万亿美元，这使得使用人工智能和 LLM 比以往任何时候都更具吸引力。
你可能听说过内存数据库。如果没有，您可以从这里(https://en.wikipedia.org/wiki/In-memory_database)快速查看他们的概述！ 长话短说，内存数据库就是将整个数据集保存在RAM中的数据库。这意味着什么？这意味着每次查询数据库或更新数据库中的数据时，只能访问主存。这些操作没有涉及磁盘 - 这是很好的，因为主存的速度比任何磁盘都快。这种数据库的一个好例子就是Memcached。 但是，如果内存数据库重启或崩溃后，如何恢复数据？如果只要一个内存中的数据库，那就没有办法了。一
知道最近也会听到一个声音,MONGODB 不能在核心的系统使用, 哎, 2021年了,现在有些系统都没有传统数据库的身影,而代替的是通过ES,REDIS ,Aerospike 这样的数据库来成功上位到这个系统的核心数据库, 那么MONGODB 为什么不可以成为项目的核心数据库？
选择太多，是一件好事情，不过也容易乱花渐欲迷人眼。倘若每个平台（技术）都去动手操练一下，似乎又太耗时间。通过阅读一些文档，可以帮我们快速做一次筛选。在将选择范围进一步缩小后，接下来就可以结合自己的应用场景去深入Spike，做深度的甄别，这是我做技术选型的一个方法。 技术没有最好，只有最适用。在做技术选型时，需要选择适合需求、适合项目类型、适合团队的技术。这是实用主义的判断，而非理想主义的追捧。若是在实用的技术选型中，再能点燃一些些技术上的情怀，那就perfect了！ 属性矩阵(Attributes Matr
ShareThis从一个小插件起家，发展至今每月服务的网站超过450万家，为网站内容的发布者提供了高品质的服务。 快速发展是有代价的。ShareThis在扩张的过程中积累了技术负债，在基础设施方面的负债尤为突出。随着公司规模的进一步扩大，基础设施的开销因为人员和设备利用率低下的原因暴涨。一年前已经到了不得不变的地步。 Kubernetes是我们减轻基础设施负债的关键，它的作用主要体现在下面几个方面： 促进Docker的使用 简化容器管理 转化基础设施人才 实现持续集成与交付 除了Kubernetes的使用我
原文标题：Big Data50 - Companies Driving Innovation
Bond (邦德)， 有赞里的一套分布式锁的标准解决方案，它是一套 SDK 型的中间件。现在服务于公司里的核心部门或核心链路，Bond 不仅提供一些面向锁语义的 API，还有提供很多场景解决方案，以及产品化相关的特性。
如果企业没有明智的成本计划，当月度账单到来时，则可能会面临高昂的费用。因此需要考虑专家提出的有关如何管理混合云成本的建议。
翻译自 Real-time Analytic Databases — Thing or Not a Thing?
作者: Katherine Noyes 译者：朴成奎 摘自财富中文网 哪些公司凭大数据技术开辟了新天地？我们拿着这个问题咨询了十名行业专家，结果得到了一份长长的名单。 要在科技行业的前沿阵地保持领先地位相当不容易，在像大数据这样迅速增长的领域更是如此。随着更多企业杀入这个战场，几乎每天都会有新的产品和服务冒出来。 有前途的大数据公司有很多，不过《财富》希望的是透过喧嚣看到本质。于是我们采访了大数据领域的一些杰出人士，看看在他们眼中谁才是最有前途的大数据公司，哪些企业最值得关注。 但我们了解到，这似乎是一个
Riak是一个noSQL非关系数据存储区，专注于分布式数据库架构。使用最新的Riak 2.1.1版本，可以使所有数据保持一致，其中数据在检索时是最新的，而不是最终一致的，其中数据更易于访问但不是最新的。
你想了解大数据，却对生涩的术语毫不知情？你想了解大数据的市场和应用，却又没有好的案例和解说？别担心，这本来自Wikibon社区的小书想要帮你。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
