目前微众银行在银行业内首次实现了核心系统数据库软硬件全国产化。 具体而言，腾讯云自研分布式数据库TDSQL日前与国产ARM服务器平台完成适配互认证，微众银行率先将支撑中间业务支付系统的TDSQL数据库，从X86服务器平台迁移到国产ARM服务器平台。 腾讯云TDSQL是腾讯自研的金融级分布式数据库产品，一直主要承载腾讯内部计费业务，经受了腾讯海量计费业务场景的验证。2014年，微众银行确立建立分布式的IT系统架构，并基于X86服务器部署腾讯云TDSQL，以此作为核心系统的数据库方案。 据了解，5年多以来，微
Colossus，巨人，谷歌第二代GFS文件系统。与GFS相比，Colossus相关的文章和信息却零星稀少。
在互联网早期，网络爬虫仅仅应用在搜索引擎中。随着大数据时代的到来，数据存储和计算越来越廉价和高效，越来越多的企业开始利用网络爬虫来获取外部数据。例如：获取政府公开数据以进行统计分析；获取公开资讯以进行舆情和热点追踪；获取竞争对手数据以进行产品和营销优化等等。
据中国汽车工业协会统计分析，2016年8月，在商用车主要品种中，与上月相比，客车和货车产销均呈增长，货车产销22.26万辆和23.25万辆，环比增长9.15%和10.21%，同比增长20.51%和15.37%。 而远程被管理车辆每天大约需要上传20MB左右的数据。按照100万辆计算，每月大约600TB，每年7.2PB左右。而100万辆车对数据中心的存储需求大约在14PB。 面对不断增长的数据，对商用车纳入远程监控管理和提供远程信息服务的要求日益提高。相关交通运输行业作为传统行业的“老大哥”，在大数据时代的背
近日，虹科与美国iXsystems公司达成战略合作，虹科正式成为iXsystems公司在中国区域的认证授权代理商。未来，虹科将携手iXsystems，共同致力于提供企业级存储解决方案。
如今，各种组织正在越来越多地使用公共云基础设施，但是人们发现将数百TB或PB数据向云端的迁移比想像得更复杂，更具破坏性，并且不具备灵活性。 云存储的商业价值是可取的，但是大量的数据对迁移，兼容性和敏
VNF：Virtualized Network Function（VNF）虚拟网络功能。NFV技术主要由3个部分构成，VNF、NFVI（网络功能虚拟化基础设施NFV Infrastructure）和MANO（NFV管理与编排，Management and Orchestration）。虚拟网络层是共享同一物力OTS服务器的VNF集。对应的就是各个网元功能的软件实现，比如EPC网元，IMS网元等逻辑实现。 NFVI：NFV Infrastructure网络功能虚拟化基础设施层，从云计算的角度看，就是一个资
近年来，互联网、IT技术正在带动整个汽车产业迎来深刻变革。在此之前，信息技术帮助汽车行业完成了设计、供应链、营销等体系的数字化和互联网化。在传统汽车厂商进行数字化转型的同时，新能源汽车、车联网、自动驾驶等新技术兴起，特斯拉、蔚来、理想、小鹏等新厂商涌入汽车制造行业，汽车行业竞争愈发激烈，十年内实现全自动或“无人驾驶”汽车，成为了传统汽车制造商、新兴汽车制造商、专业自动驾驶解决方案供应商共同争夺的新的技术制高点。
安全日志记录着企业服务器、云基础设施、应用程序等的全部执行过程，对日志数据进行追溯分析，可以准确清晰地了解企业 IT 设施状况、排查安全隐患、检索故障源头等。
成立于2014年7月，包括线上的QQ群/微信群、翻译小组、订阅号和线下沙龙。Ceph中国线下沙龙已经成功举办多次，邀请国内一线工程师专家讲最实际最落地的采坑经验，首次提出Ceph中国行布道之旅，全面深入的在中国多座城市进行Ceph & OpenStack布道。目前Ceph中国已经成为国内最专业的Ceph技术交流社区平台。
说人类步入了信息时代，有个事情是非常重要的，就是物理世界的信息化，包括信息基础设施建设和数字化，紧接着就是如何将数字化的东西（数据）进行储存、传输、交换以及使用，这一脉络伴随着移动互联网，云计算、大数据以及各种各样智能终端的出现，显得也越来越清晰。很多人都已认可，我们可能来到一个工业革命之后，一个比我们想象地更加重要的变革时代，我们把它命名为产业互联网的时代。毕竟这一切都是互联网出现之后才发生的，无论是云，通过网络随需调用的计算资源；大数据，关联的可分析在线数据；还是各种智能终端，都要依托互联网。同时这些
大数据技术主要要解决的问题的是大规模数据的计算处理问题，那么首先要解决的就是大规模数据的存储问题。大规模数据存储要解决的核心问题有三个方面：
近年来，随着ChatGPT的发布，掀起了一股生成式AI（AIGC）的热潮。从今年开始，国内各家企业也纷纷发布了自家的大模型产品，5月科技部下属的中国科学技术信息研究所发布了《中国人工智能大模型地图研究报告》。报告显示，截至5月28日，国内10亿级参数规模以上基础大模型至少已发布79个。衡量大模型产品能力的一个很重要的指标就是参数量，从10亿级、百亿级到现在的千亿级。参数量的快速增长，对支撑AI训练的基础设施，如计算、网络、存储等也提出了更高的要求。存储作为IT基础设施的重要组成部分，在扩展性、高性能和多协议接口等方面，也需要与时俱进。腾讯公司推出的TStor存储一体机正是这样一款存储产品，本文将基于大模型场景对存储的挑战，介绍TStor在该场景的优势，以及在某大模型产品中的业务实践，供广大希望自建大模型应用的企业参考。
相关交通运输行业作为传统行业的“老大哥”，在大数据时代的背景下，面临海量交通安全数据的处理，转型势在必行。对基础架构技术进行革新，配合上层软件解决方案的软硬件结合的模式将重塑高效、安全的交通运输业未来。
近年来，随着云、大数据、AI、区块链等技术的发展，分布式架构在IT市场持续火热，在存储领域，分布式存储蓬勃发展。 其中在AI应用最火热的汽车自动驾驶研发领域，每个车企都需要对数百PB数据进行采集、存储、分析训练、仿真。 根据预测，到2025年全球数据将增长到175ZB，其中非结构化数据占比将超过80%，分布式存储凭借高扩展性和易管理能力，成为承载海量数据的重要选择。同时，在政府、运营商、金融等大规模云化数据中心，各大云厂商、分布式存储厂商都在积极推动分布式存储更广泛地应用，替代部分传统存储阵列。 种种迹象
Google大数据“三驾马车”的第一驾是GFS（Google 文件系统），而Hadoop的第一个产品是HDFS（Hadoop分布式文件系统），可以说分布式文件存储是分布式计算的基础，由此可见分布式文件存储的重要性。如果我们将大数据计算比作烹饪，那么数据就是食材，而Hadoop分布式文件系统HDFS就是烧菜的那口大锅。 厨师来来往往，食材进进出出，各种菜肴层出不穷，而不变的则是那口大锅，大数据也是如此。这些年来，各种计算框架、各种算法、各种应用场景不断推陈出新，让人眼花缭乱，但是大数据存储的王者依然是HDF
《王者荣耀》是全球首款5V5英雄公平对战手游, 腾讯游戏天美工作室开发的MOBA游手大作。作为全球用户数最多的手游，你有没有发现无论什么时候上线、玩多久，王者荣耀从来都如丝般顺滑，甚至连排队等待都不需要？ 其实，每一次响起那句经典冲锋号"稳住，我们能赢"的时候，后端数据库也在严阵以待。峡谷的战场，就是数据的战场，每一次团战都是在海量的数据中增删改查。接下来，就为大家解密在这款现象级手游背后的腾讯云自研游戏数据库TcaplusDB数据库技术。 PartⅠ 面临的问题 对于王者荣耀而言，数据库是灵魂，承载着所
多年前，我们将 Dropbox 称为“魔力口袋”，因为它设计的初衷就是让用户将所有文件放在一个顺手的地方。一路发展下来，Dropbox 已经从一个简单的东西发展成为世界上最为强大、随处可用的协作平台。
这是一个技术创新重塑工作负载的时代，人工智能和数据分析在其中正变得越来越重要。对于大多数企业而言，它们是驱动企业业务变革的关键。
11月4日，在“2021腾讯数字生态大会”智慧出行专场论坛上，腾讯自动驾驶云重磅发布，携手优秀生态合作伙伴，以灵活的SaaS订阅模式，支持行业更高效地开展自动驾驶研发和运营。 腾讯云专区作为自动驾驶云基础云底座，具备弹性计算、海量数据存储等云服务，助力自动驾驶云面向研发场景，提供全套工具链服务。实现开箱即用Pipeline、自动化DevOps体系、大规模并行仿真调度、高弹性且低成本存储方案的应用，提供可靠、安全、稳定的自动驾驶专有云服务。 合规存储 腾讯云专区与公有云完全物理隔离，没有任何流量混载，满足
说人类步入了信息时代，有个事情是非常重要的，就是物理世界的信息化，包括信息基础设施建设和数字化，紧接着就是如何将数字化的东西（数据）进行储存、传输、交换以及使用，这一脉络伴随着移动互联网，云计算、大数据以及各种各样智能终端的出现，显得也越来越清晰。很多人都已认可，我们可能来到一个工业革命之后，一个比我们想象地更加重要的变革时代，我们把它命名为产业互联网的时代。毕竟这一切都是互联网出现之后才发生的，无论是云，通过网络随需调用的计算资源；大数据，关联的可分析在线数据；还是各种智能终端，都要依托互联网。
Yahoo是Hadoop的最大支持者，Yahoo的Hadoop机器总节点数目已经超过42000个，有超过10万的核心CPU在运行Hadoop。最大的一个单Master节点集群有4500个节点（每个节点双路4核心CPUboxesw，4×1TB磁盘，16GBRAM）。总的集群存储容量大于350PB，每月提交的作业数目超过1000万个。
在1992年出版的《雪崩》一书中，作者尼尔·史蒂芬森第一次提出Metaverse（元宇宙）这一概念；斗转星移，三十年之后，随着Roblox上市、Facebook改名Meta、微软等一众巨头纷纷入局，元宇宙成为全球名副其实的“顶流”。
面对庞大的数据量和飞快的增长速度，雅虎对象存储需要在保证耐用性和延迟的基础上发挥存储成本效益，雅虎选择了软件定义的存储。本文介绍了雅虎PB级云对象存储COS解决方案的实践，解释了选择Ceph放弃Swift的原因，部署的架构及其实现，耐用性和延迟方面的优化以及未来的研发方向等。 ---- 雅虎存储用户所提交的照片，视频，电子邮件和博客文章的数据量达半个EB，对象存储超过2500亿，并且对象存储每年以20%-25%的速度增长，增长原因主要有移动，图像，视频，用户量的增长这几方面。对此，雅虎选择了软件定义存储，在
以“数实融合，绽放新机”为主题，聚焦产业趋势与技术前沿，打造产业互联网顶级盛会的2021腾讯数字生态大会日前在武汉举办，腾讯云数据库技术负责人程彬进行了《云原生时代的数据库技术实践》的主题演讲，分别从云原生时代数据库技术何去何从，新时代下如何构建TDSQL-C数据库产品和TDSQL-C在云上实践经验等三个方面进行分享。 （以下是通过程彬现场演讲全文整理） 时来云转 云时代的数据库应云而生、依云而建 当云计算这个词还热度未减时，云原生的时代却已悄然而至，也因此用户使用云的方式发生了极大的变化。从之前用
2005年，是中国第二次互联网浪潮的发始之年。刚刚从破碎泡沫中走出的互联网产业，逐渐迎来了“web 2.0”时代。
ElasticSearch是一款开源的高扩展的分布式全文检索引擎，可以近实时地查询分析数据。实现基于Lucene，封装了许多Lucene底层的功能，提供了简单易用的RestFul API接口和很多语言的客户端，如Java的高级客户端(Java High Level REST Client)和底层客户端(Java Low Level REST Client)
如：当系统数据量上了 10 亿、100 亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题： 1）用什么数据库好？(mysql、oracle、mongodb、hbase…) 2）如何解决单点故障；(lvs、F5、A10、Zookeep、MQ) 3）如何保证数据安全性；(热备、冷备、异地多活) 4）如何解决检索难题；(数据库代理中间件：mysql-proxy、Cobar、MaxScale 等;) 5）如何解决统计分析问题；(离线、近实时)
摘要：Hadoop是一个开源的高效云计算基础架构平台，其不仅仅在云计算领域用途广泛，还可以支撑搜索引擎服务，作为搜索引擎底层的基础架构系统，同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。本文将讲述国外、国内Hadoop的主要应用现状。
没错，我们的博客和论坛目前开始尝试向官方对齐，这样做的好处就是，系统的维护成本将得到显著的降低，我们可以抽出绝大多数的人力来输出资源，这样对于大家的学习看上去更有帮助。
11月3/4日，以“数实融合，绽放新机”为主题，聚焦产业趋势与技术前沿，打造产业互联网顶级盛会的2021腾讯数字生态大会在武汉举办，腾讯云数据库技术负责人程彬进行了《云原生时代的数据库技术实践》的主题演讲，分别从云原生时代数据库技术何去何从，新时代下如何构建TDSQL-C数据库产品和TDSQL-C在云上实践经验等三个方面进行分享。 （以下是通过程彬现场演讲全文整理） 时来云转 ：云时代的数据库应云而生、依云而建 当云计算这个词还热度未减时，云原生的时代却已悄然而至，也因此用户使用云的方式发生了极大的变
// 11月3/4日，以“数实融合，绽放新机”为主题，聚焦产业趋势与技术前沿，打造产业互联网顶级盛会的2021腾讯数字生态大会在武汉举办，腾讯云数据库技术负责人程彬进行了《云原生时代的数据库技术实践》的主题演讲，分别从云原生时代数据库技术何去何从，新时代下如何构建TDSQL-C数据库产品和TDSQL-C在云上实践经验等三个方面进行分享。 （以下是通过程彬现场演讲全文整理） 时来云转 ：云时代的数据库应云而生、依云而建 当云计算这个词还热度未减时，云原生的时代却已悄然而至，也因此用户使用云的方式发生了极
4. 一只青蛙一次可以跳上1级台阶，也可以跳上2级……它也可以跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法？
gRPC 一开始由 google 开发，是一款语言中立、平台中立、开源的远程过程调用(RPC)系统。
8月5日消息，近日，韩国存储芯片大厂三星在2022闪存峰会（Flash Memory Summit，FMS） 上，推出了一系列下一代闪存和储存技术。三星在主题为“Memory Innovations Navigating the Big Data Era”的主题演讲中，重点介绍了推动大数据市场进步的四项技术，分别为数据移动、数据储存、数据处理和数据管理等，并展示了针对每一个技术的解决方案。
Snova为您提供简单、快速、经济高效的PB级云端数据仓库解决方案。借助于Snova，您可以在数分钟内创建拥有数百节点的企业级云端数据仓库，并高效的完成日常维护工作；也可以使用丰富的Postgre开源生态工具，实现对Snova中海量数据的即时查询分析、ETL处理及可视化探索；还可以借助其云端数据无缝集成特性，轻松分析位于COS、CDB、ES等数据引擎上的PB级数据。
ClickHouse 开源于 2016 年，凭借性能方面的突出优势，在分析型数据库领域发展可谓风生水起。目前，国内外许多头部大厂都在深度使用 ClickHouse 技术。 在性能方面，ClickHouse 在 OLAP 场景下的性能超越同类产品数倍不止，它允许系统以亚秒级的延迟从 PB 级的原始数据生成报告，服务器吞吐量高达每秒数亿行。 但是将ClickHouse 引入企业级生产环境中，仍然存在问题。关于落地实践的坑，并不是业内所有团队都需要自己踩一遍，也不是所有团队都能负担得起这样的成本，我们要做的是吸取
如：当系统数据量上了10亿、100亿条的时候，我们在做系统架构的时候通常会从以下角度去考虑问题：
ceph三种架构 支持三种接口： Object：有原生的API，而且也兼容Swift和S3的API。 Block：支持精简配置、快照、克隆。 File：Posix接口，支持快照。 Ceph的核心组件 Monitor:节点 RADOS：可用于PB级规模数据存储集群的可伸缩的、可靠的对象存储服务。实现用户实现数据分配、Failover等集群操作。 OSD:对象存储（Object-based Storage），Rados的存储节点，负责响应客户端请求返回具体数据的进程。 CephFS:Ceph File Syst
“以前一个客户分析特定的数据量可能需要100台机器，但用我们的方案只需要10台；原来查一周都查不了或者直接宕机，我们只需要一分钟。”
HDFS是最早的大数据存储系统，存储着宝贵的数据资产，各种新算法、框架要想得到广泛使用，必须支持HDFS，才能获取已存储在里面的数据。所以大数据技术越发展，新技术越多，HDFS得到的支持越多，越离不开HDFS。HDFS也许不是最好的大数据存储技术，但依然是最重要的大数据存储技术。
继网络接入存储、块存储、文件存储之后，对象存储掀起了新一轮的发展浪潮。如今，传统企业存储比如NAS或者SAN等显然无法应对如此海量的非结构化数据存储需求。国外IBM、Red Hat、HDS、EMC等巨头、国内华为云、青云、杉岩数据等企业纷纷在企业级对象存储领域展开了积极布局。
Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。
当今世界，互联网、大数据应用迅猛发展，物联网、人工智能、云计算 技术日新月异，随之而来的是各种企业和个人应用持续不断地产生亿级甚至是百亿级的海量小文件。这些小文件的元数据管理、存储性能以及访问效率等问题因而成为学术界和工业界公认的难题。
随着 DT 时代的来临，数据对于企业经营决策的价值日益凸显，而企业在进行互联网+转型的过程中，如何让数据架构平滑迁移到大数据平台，对于传统业务的转型升级至关重要。企业 IT 部门该如何进行 PB 级别大数据平台的迁移规划呢，请看云智慧运维总监张克琛带来的经验分享。 提到 PB 级别的大数据解决方案市面上有很多，比较火的有 Hadoop、Spark、Kafka 等等，如果是一个新上线的系统，相信大家都能找到适合自己的方案。但“大数据”在 09 年才逐渐成为互联网信息技术的流行词汇，一个较老的系统如何平滑迁移到
声明：主要内容来自公司内部 对业界的调研,不一定恰当、准确、实时。 表格文字较多，APP阅读体验较差 团队 服务相关组件\方案 通信框架 监控 负载均衡\路由 是否开源 腾讯 完全自研；BG内部自治，每个BG有自己相应的解决方案，单独演进； 包括：服务注册路由中心；流量定义ABTesting方案；日志分布式收集；配置中心等没有公司级的服务治理组织去统一 各个BG也不一样技术工程TEG\原搜索：自定义二进制协议编解码，或Protocol Buffer（以下简称PB）进行序列化\反序列化，自研服务容器、
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
