京东白条使用 Apache ShardingSphere 解决了千亿数据存储和扩容的问题，为大促活动奠定了基础。
之前的文章中，我曾经多次提到一个用于数据分片的开源项目 ShardingSphere ：
作者 | ShardingSphere官微 来源 | https://mp.weixin.qq.com/s/Rzr-aKFwmm71QNUs68WQNA 京东白条使用 Apache ShardingSphere 解决了千亿数据存储和扩容的问题，为大促活动奠定了基础。 2014 年初，“京东白条”作为业内互联网信用支付产品，数据量爆发式的增长，每一次大促备战都是对技术人员的考验，每一次的战略转型驱动着数据架构的成长。 --张栋芳，京东白条研发负责人 京东白条数据架构演进史 自 2014 年 2 月京东白条业务
在不那么遥远的旧 IT 时代，有这样一个段子——假如把数据库们”聚在一起“开会”。 Oracle: 我们需要企业级数据库。 MySQL: Oracle 不开源。 PostgreSQL: MySQL 的
卡思数据是国内领先的视频全网数据开放平台，依托领先的数据挖掘与分析能力，为视频内容创作者在节目创作和用户运营方面提供数据支持，为广告主的广告投放提供数据参考和效果监测，为内容投资提供全面客观的价值评估。
MySQL是目前最为流行的开放源码的数据库，随着其性能一直在被优化，安全机制也趋向成熟，更重要的是开源免费这个特点，受到了各大企业的热烈欢迎，近年来在各大榜单稳居第二，随时可能超过Oracle。 来源网络 不仅企业中使用的多，在求职中更是面试重点。 最近后台也经常收到一些正在跳槽的粉丝留言，反馈了一些大厂高频问的面试题，发现数据库优化的知识基本每家公司都会问到。 所以千万不要在求职跳槽中对数据库掉以轻心，很多人拥有大厂梦，却容易在面试中因为MySQL败下阵来，大部分是这两种情况： 很多人平时工作上没机会接
这半个月，很多小伙伴留言问我618各大电商后端的技术，最多的是关于系统压力暴增情况下如何进行MySQL数据库优化的。 今天就结合我自己工作中的真实案例和大家分享一下吧。 前几年我待过一家创业公司，做的是商城业务。那两年公司业务迅速增长，用户从零积累到千万级别，每天访问量几亿次，高峰QPS高达上万次每秒。 赶上618、双十一大促期间，系统的写压力成倍增长，读业务的请求量更是在写业务的请求量的50倍。后面我们就面临了极具技术挑战性的数据库升级过程。 最初的技术选型，采用的是Java语言进行开发，数据库使用的是M
同盾科技是中国领先的人工智能科技企业。为了确保服务的低延迟和高可用性，同盾的技术团队不断寻找最佳的技术架构。经过长时间调研，他们最终选择了新一代分布式数据库 TiDB 作为离线层的核心数据库，基于 TiDB 打造的实时数据架构为风控智能决策保驾护航。
NFTScan 是一家多链 NFT 数据基础设施服务商，为 Web3 用户提供高效简洁的 NFT 资产搜索查询服务，为 Web3 开发者和新一代金融科技公司提供专业的 NFT API 数据服务。
最近有粉丝秋招面试回来，说原来MySQL在互联网公司原来如此的重要！京东和阿里的面试中都被问到了。。。。。兄弟你才知道啊！ 防止在后续求职跳槽中还有对“MySQL”掉以轻心的人，这里给大家再简单强调一下： 近年来在互联网行业中，MySQL稳居第二，随时可能超过Oracle，随着其性能一直在被优化，安全机制也趋向成熟，更重要的是开源免费的，所以目前互联网行业中MySQL的使用是非常多的，也是求职中的面试重点。 很多人拥有大厂梦，却容易在面试中因为MySQL败下阵来。 原因是很多人平时工作上没机会接触，小公司的
关于架构，大家都有了解和理解。通常一个业务或项目，在做架构设计时，可能会包含业务架构和技术架构。其中技术架构是我们作为开发角色，在做设计时重点的工作内容。但还有架构类型的划分方式，会包括业务架构、技术架构、数据架构和应用架构四种。
DTS 作为数据交互引擎，以其高效的实时数据流处理能力和广泛的数据源兼容性，为用户构建了一个安全可靠、可扩展、高可用的数据架构桥梁。云数据库 SelectDB 通过与 DTS 联合，为用户提供了简单、实时、极速且低成本的事务数据分析方案。用户可以通过 DTS 数据传输服务，一键将自建 MySQL / RDS MySQL / PolarDB for MySQL 数据库，迁移或同步至云数据库 SelectDB 的实例中，帮助企业在短时间内完成数据迁移或同步，并即时获得深度洞察。
这两个月来，很多小伙伴留言问我618、双11各大电商后端的技术，最多的是关于系统压力暴增情况下如何进行MySQL数据库优化的。 今天就结合我自己工作中的真实案例和大家分享一下吧。 前几年我待过一家创业公司，做的是商城业务。那两年公司业务迅速增长，用户从零积累到千万级别，每天访问量几亿次，高峰QPS高达上万次每秒。 赶上618、双十一大促期间，系统的写压力成倍增长，读业务的请求量更是在写业务的请求量的50倍。后面我们就面临了极具技术挑战性的数据库升级过程。 最初的技术选型，采用的是Java语言进行开发，数据库
大数据是海量数据模式下，对数据进行存储以及计算的一种架构，或者说生态。数据量达到这个级别，单机数据库、MPP架构都无法支撑的时候，只能寻求大数据架构去做解决。
场景描述：先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。
本文是《极客时间》-《TiDb极简入门》的学习笔记。传送门：https://time.geekbang.org/opencourse/videointro/100089601
大数据指无法用传统数据库软件工具对其内容进行抓取、管理和处理的大体量数据集合。
最近小伙伴在讨论单体到微服务架构中数据这块如何演进，相信这篇能给大家带来启发。 ---- 来源：SphereEx 链接：https://segmentfault.com/a/1190000041107436 排版：悟空哥 京东白条的快速发展满足了当前人们日益增长的消费需求。在京东商城上用京东白条来支付，已经成为一大批用户的消费习惯，更是在某种意义上成为了京东对外的『标签』。而作为一家互联网金融消费平台，京东白条的后台技术团队更是不容忽视的存在。而其也正是支撑京东白条自 2014 年初上线伊始，至今服务数亿用
导语 | 本文推选自腾讯云开发者社区-【技思广益 · 腾讯技术人原创集】专栏。该专栏是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀，与广泛开发者互启迪共成长。本文作者是腾讯高级开发工程师杨波。 本文主要总结个人在数据安全分类落地过程遇到问题的经验，希望本文能对此方面感兴趣的开发者们提供一些经验和帮助。 背景 随着《数据安全法》、《个人信息保护法》等相继出台，数据安全上升到国家安全层面和国家战略层面，数据分类分级已经成为了企业数据安全治理的必选题。然而数据
2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（James Dixon）首次提出数据湖的概念。把数据湖中的数据比作原生态的水——它是未经处理的，原汁原味的。数据湖中的水从源头流入湖中，各种用户都可以来湖里获取、蒸馏提纯这些水（数据）。此时， 大家对于数据湖的理解主要是当作一个集中式的存储系统，允许存储任意规模的结构化和非结构化数据。
引言 是否遇到过，一个简单的业务统计需求却让数据工程师们抓耳挠腮？ 是否遇到过，业务峰值周期明显，要么资源大量闲置， 要么线上疯狂告警？ 是否遇到过，大数据集群运维复杂，需要投入大量技术工程师？ 针对以上痛点， 腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。 本文作者：ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（Jame
引言 是否遇到过，一个简单的业务统计需求却让数据工程师们抓耳挠腮？ 是否遇到过，业务峰值周期明显，要么资源大量闲置， 要么线上疯狂告警？ 是否遇到过，大数据集群运维复杂，需要投入大量技术工程师？ 针对以上痛点， 腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。 本文作者：ericshhxie 一、数据湖的前世今生 2010年 Pentaho 公司的创始人兼首席技术官詹姆斯·狄克逊（James
针对以上痛点， 腾讯云发布云原生数据湖计算服务，协同腾讯云端数据湖体系，帮助企业高效构建云端数据湖架构、降低数据计算成本，提升数据分析敏捷性、激发数据应用价值，助力企业数字化决策。
《DAMA数据管理知识体系指南》对企业的数据管理成熟度定义了6个层级，分别为：0级-无能力、1级-初始或临时级、2级-可重复级、3级-已定义级、4级-已管理级、5级-优化级，级别越高数据管理越成熟。对于前期缺少数据管理经验的企业，在无数据专家或数据顾问公司支撑的情况下，容易导致以下的问题：
简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件。
先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。
*杨亚强 2016 年作为数据架构师加入美图数据平台部。具有多年的数据架构经验，作为资深架构师，长期负责各类系统的架构和研发工作，也作为主程参与过多个大型系统的研发。对于分布式系统、大规模数据处理等大数据组件有着丰富的研发和优化经验。目前在美图的大数据与AI部门负责数据架构设计与核心模块代码的编写，主导数据基础设施的构建和优化。
梳理了Hbase与Hive之间的区别和关系 1. 区别 Hbase：Hadoop database，也就是基于Hadoop的数据库，是一种NoSQL的数据库，主要用于海量数据的实时随机查询，例如：日志明细，交易清单等。 Hive： Hive是hadoop的数据仓库，跟数据库有点差，主要是通过SQL语句对HDFS上结构化的数据进行计算和处理，适用于离线批量数据处理 通过元数据对HDFS上的数据文件进行描述，也就是通过定义一张表来描述HDFS上的结构化文本，包括各列的数
作者 CDA 数据分析师 前言 2017年7月29日，由CDA数据分析师主办，以“跨界互联 数据未来”为主题的CDAS 2017第四届中国数据分析师行业峰会在北京中国大饭店隆重举行。 7月29日当天，除了引人眼球的主会场以外，当天同步开放11个分论坛，我们将逐一推送每个分论坛的盛况，以及演讲嘉宾速记稿整理，给每一个CDA成员奉上干货。 CDAS 2017中国数据分析师行业峰会的下午数据库与技术实战分论坛中，来自去哪儿、润乾科技、宜信等七位专家与教授，分享了数据库与技术实战自己的心得体会。 大会
一、技术类 1. JAVA、WEB、架构 《分布式Java应用——基础与实践》 《深入分析Java Web技术内幕》 《大型网站系统与Java中间件实践》 《分布式服务框架原理与实践》 《Java并发编程实战》 《Java7 并发编程实战手册》 《淘宝技术这十年》 《大话设计模式》 《构建高性能Web站点》 《Spring Boot揭秘（快速构建微服务体系）》 《Spring Boot实战》 《Spring Cloud微服务实战 》 《深入理解Java 虚拟机》 《Spring 2.x企业应用开发详解》 《
此前，金融信息化建设主要依托原有集中型 IT 架构进行维护扩展，系统规模及复杂程度呈指数级增长，各类瓶颈逐渐暴露，日益增长的数字金融需求同旧式的系统架构缺陷之间的矛盾愈加凸显。
有句话叫做：投资啥都不如投资自己的回报率高。 从参加工作到现在，短短的几年内，我投资在自己身上的钱已超过三十多万，光买书籍的钱就已超过总投资的三分之一，买了不少于上千本书，有实体书，也有电子书。这些书不仅提升了我的技术能力，更提升了我的视野和认知。
2022年4月，Tapdata 启动 PDK 插件生态共建计划，致力于全面连接数据孤岛，加速构建更加开放的数据生态，旨在充分激发实时数据流动的价值，助力各行各业完成从传统数据架构平滑过渡到新一代数据库架构，为用户提供更好的数据服务体验。作为参与该计划的首批生态共建伙伴，Apache Doris 与 Tapdata 强强联手，共建下一代数据架构。
[链接] http://www.52im.net/thread-2970-1-1.html
导语 就像Docker是容器的代名词一样，Hadoop [hædu:p]也是大数据的代名词，作为云计算所青睐的一种分布式架构，这只黄色的小象也和那只蓝色的鲸鱼一样被越来越多的人所熟知。Hadoop这个名字不是一个缩写，而是一个虚构的名字。该项目的创建者，DougCutting解释Hadoop的得名 ：“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短，容易发音和拼写，没有太多的意义，并且不会被用于别处。小孩子恰恰是这方面的高手。” Hadoop以及其它大数据应用框架，例如Spark，是围绕
大数据的发展伴随着互联网技术的进步，数据量的增大、数据源的增多,大数据在互联网时代针对数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。
👆点击“博文视点Broadview”，获取更多书讯 数据是新时代的石油，大数据技术是新时代的引擎。 在这个快速变化的世界，如何有效地利用数据，提供有价值的洞察和解决方案，是每一个企业和组织都面临的挑战和机遇。 我从事 Python 和大数据开发多年，参与过多个行业领域的项目，从电商到金融，从医疗到教育，从社交到娱乐。我深刻地感受到了 Python 和大数据技术给我带来的便利和效率，也见证了它们在各个场景下的强大和创新。 《Python 大数据架构全栈开发与应用》是在这个背景下应运而生的一本图书。 它
一种操作hadoop的轻量级脚本语言，最初又雅虎公司推出，不过现在正在走下坡路了。当初雅虎自己慢慢退出pig的维护之后将它开源贡献到开源社区由所有爱好者来维护。不过现在还是有些公司在用，不过我认为与其使用pig不如使用hive。：）
大家好，我是Tom哥。校招进阿里，研究生，P7技术专家，出过专利，竞赛拿过奖，CSDN博客专家，负责过电商交易、社区生鲜、营销、金融等业务，多年团队管理经验，爱思考。
如今大数据发展的越来越成熟。各大企业纷纷成立大数据部门。数据已成为企业最核心的资产。
之所以叫传统大数据架构，是因为其定位是为了解决传统BI的问题，简单来说，数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便是为了解决这个问题。可以看到，其依然保留了ETL的动作，将数据经过ETL动作进入数据存储。
过了年，2022年的金三银四黄金招聘季也就近在眼前了。卧薪尝胆也罢、踌躇满志也好，作为一名技术人，想要进阶大厂或者升级加薪，首先必须要拥有能够通关打怪的实力加持，这样才可能在千军万马中脱颖而出成为优胜者。每到这个时候各路面经也往往铺面而来，以我往年参加的大咖闭门分享会的经验而言：选对方向好过自我感动式的盲目努力。在数智化时代，围绕数据存储、处理和分析的技能都是必须要掌握的，而MySQL作为数据库里使用最广的开源软件，是技术人怎么都绕不开的全方位支撑技能。而大厂面试重基础早已闻名业界，只不过偶尔表述的套路不同
随着丰巢业务系统快速增长，其核心系统的数据量，早就跨越了亿级别，而且每年增量仍然在飞速发展。整个核心系统随着数据量的压力增长，不但系统架构复杂度急剧增长，数据架构更加复杂，传统的单节点数据库，已经日渐不能满足丰巢的需求，当单表数量上亿的时候，Oracle 还能勉强抗住，而 MySQL 到单表千万级别的时候就难以支撑，需要进行分表分库。为此，一款高性能的分布式数据库，日渐成为刚需。
昆仑万维是全球领先、业内前沿的综合性互联网集团，业务涵盖昆仑游戏（GameArk）、信息资讯（Opera）等多个业务板块。其中，昆仑游戏（GameArk）凭借研发及运营的核心优势，面向全球进行游戏的研发、发行与运营，形成多样性的产品矩阵。截止 2020 年底，月活用户达到上亿规模。
👆点击“博文视点Broadview”，获取更多书讯 最近有不少小伙伴在问有没有架构类的书单，博文菌收到了大家的需要，这就安排上！ 俗话说：不想当架构师的程序员不是好程序员。成为架构师几乎是每位开发者入行初期的共同理想。 如何站在架构的视角去看代码世界，如何依托企业业务需求搭建可高用架构，云端架构的设计原则有哪些…… 本期书单为你带来今年出版的10本架构类好书，希望能够帮你建立架构思维，解开架构谜团！ ---- 01 ▊《业务架构・应用架构・数据架构实战（第2版）》 温昱 著 国内知名架构专家创新
从统计到数据分析，从数据挖掘到大数据，数据科学逐渐成为了一门新兴的学科，数据分析师也逐渐成为了一门抢手的职业。如何成为数据分析师？如何入行数据分析？教育是一个难题！在这个行业中，是否有高质量的证书？拿到证书后能找到多少薪资的工作？今天，我们来分析分析作为这个行业中的老牌，CDA数据分析师的等级标准。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
