首页
学习
活动
专区
工具
TVP
发布

腾讯开源的专栏

专栏作者
423
文章
581128
阅读量
114
订阅数
开源公告|通用的分布式shuffle服务-Firestorm开源
Firestorm介绍 Firestorm是一个通用的分布式shuffle服务,满足大数据框架在云原生、离线混合等场景的需求,同时解决MR style shuffle在大规模场景下遇到的稳定新和性能问题。 项目采用了Coordinator和Shuffle Server结合的多主多从的分布式架构,对于Shuffle数据能预聚合,降低shuffle过程对于磁盘IO的开销,以此提升Shuffle任务的稳定性。目前支持的存储模式有Local,HDFS,Ozone,以及 Local + HDFS/Ozone混
腾讯开源
2021-11-15
3670
企业级分布式高性能KV存储数据库,腾讯Tendis正式开源
项目简介 Tendis是腾讯互娱CROS DBA团队 & 腾讯云数据库团队自主设计和研发的分布式高性能KV存储数据库,兼容Redis核心数据结构与接口,可提供大容量、低成本、强持久化的数据库能力,适用于兼容Redis协议、需要大容量且较高访问性能的温冷数据存储场景。Tendis目前已经被应用到腾讯内、外部大型项目中。 集群架构 Tendis使用去中心化集群架构,每个数据节点都拥有全部的路由信息,用户可以访问集群中的任意节点,并且通过redis的move协议,最终路由到正确的节点。 每个Tendis节
腾讯开源
2020-12-22
1.4K0
腾讯全文检索引擎 wwsearch 正式开源
背景 企业微信作为典型企业服务系统,其众多企业级应用都需要全文检索能力,包括员工通讯录、企业邮箱、审批、汇报、企业CRM、企业素材、互联圈子等。下图是一个典型的邮件检索场景。 由于过去几年业务发展迅速,后台检索架构面临挑战: 1. 系统在亿级用户,xxx万企业下,如何高效+实时地检索个人企业内数据和所在企业全局数据。 2. 业务模型众多,如何满足检索条件/功能多样化需求。 3. 数据量庞大,检索文本几十TB,如何节约成本。 业界有被广泛使用的开源全文检索引擎,比如:lucene、sphinx等。它
腾讯开源
2019-11-27
2K0
腾讯万亿级分布式消息中间件TubeMQ正式开源
TubeMQ是腾讯在2013年自研的分布式消息中间件系统,专注服务大数据场景下海量数据的高性能存储和传输,经过近7年上万亿的海量数据沉淀,目前日均接入量超过25万亿条。较之于众多明星的开源MQ组件,TubeMQ在海量实践(稳定性+性能)和低成本方面有着比较好的核心优势。 TubeMQ 捐赠 Apache 基金会 9月12日,Apache软件基金会成立20周年之际,腾讯在ApacheCon宣布TubeMQ 开源。TubeMQ 启动计划捐赠 Apache 基金会的流程。 TubeMQ系统特点
腾讯开源
2019-09-16
1.1K0
【开源公告】高性能通用频率控制组件libwxfreq正式开源
libwxfreq libwxfreq是一个采用多级hash作为底层存储模型的高性能通用频率控制组件。通过简洁的几个接口,既可以单机使用,也可以配合其他网络框架,轻松搭建一个通用的频率控制服务。 组件特性: 高度可配置:统计维度可配置、统计时长可配置、频率规则可配置 支持任意key类型 底层存储模型无锁化设计 高性能通用频率控制组件libwxfreq 正式开源 Github地址: https://github.com/Tencent/libwxfreq 请给 libwxfreq 一个 Star!
腾讯开源
2018-03-02
8010
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档