展开

关键词

Apache顶级项目ShardingSphere最近都在干啥?

主题:分布式数据库中间件Apache ShardingSphere架构演进 大纲: 1、我们知道ShardingSphere已经成为Apache的顶级项目,那相较于之前,有没有新的挑战呢? 01 我们知道ShardingSphere已经成为Apache的顶级项目,那相较于之前,有没有新的挑战 ? Apache ShardingSphere (官网:https://shardingsphere.apache.org/)是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding-JDBC ShardingSphere已经在2020年4月16日毕业成为Apache顶级项目(Apache官方发布从4.0.0版本开始),不仅作为Apache基金会的唯一一个数据库中间件项目,同时也是国人开源走向世界技术舞台的一面旗帜 同年年底,成为Apache孵化器项目。 2020年4月份,ShardingSphere正式毕业。

1.3K30

Apache ShardingSphere 社区的探索与拓展

| 转载自:ShardingSphere官微 | 编辑:Corrie Apache ShardingSphere社区受邀参与了11月9日在清华大学举办的《Apache Event——走进Apache开源软件社区 在活动中Apache ShardingSphere社区的PPMC张亮分享了《Apache ShardingSphere社区的探索与拓展》这个话题,下面呈现分享的主要内容。 4 Apache ShardingSphere 社区数据统计 对于一个开源项目来说,项目本身和社区是同样重要的,因此,项目+社区才是组成的Apache ShardingSphere的全部。 作为京东的Apache ShardingSphere的团队,我们也是社区的一部分,在参与社区的同时,会将稳定版本的Apache ShardingSphere赋能公司内部应用。 5.多元化沟通渠道。 : https://github.com/apache/incubator-shardingsphere 订阅邮箱: dev-subscribe@shardingsphere.apache.org

30020
  • 广告
    关闭

    什么是世界上最好的编程语言?丨云托管征文活动

    代金券、腾讯视频VIP、QQ音乐VIP、QB、公仔等奖励等你来拿!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Apache ShardingSphere Proxy 负载均衡小练习

    使用 docker 来启动一个 ShardingProxy 1、获取sharding-proxy的docker镜像 docker pull apache/sharding-proxy:4.0.1 2、配置文件在容器中的路径是 d -v /${your_work_dir}/conf:/opt/sharding-proxy/conf -e PORT=3308 -p13308:3308 --name shardingproxy apache -v /home/yangyan/conf/sharding-proxy/ext-lib:/opt/sharding-proxy/ext-lib -e PORT=3308 -p13308:3308 apache sharding-ui(可选) sharding-ui 是 shardingSphere官方辅助的一个用来数据治理的界面,github仓库地址是https://github.com/apache/incubator-shardingsphere ShardingSphere Proxy Master Slave 这块有一些不太完善的地方,比如说,所有的slave都已经被DISABLED的情况下,会有除0异常(位置org/apache/shardingsphere

    16230

    Apache ShardingSphere Proxy 分库分表小练习

    因为我们之前在《Apache ShardingSphere Proxy 负载均衡小练习》里面已经对 1、2、3做了主从复制作为负载均衡练习,为了不影响之前的数据,我们增加4、5、6 库用来演示分表的功能 =org.apache.shardingsphere.sql.parser.sql.statement.dml.InsertStatement@27b96d8f, tablesContext=TablesContext (super=CommonSQLStatementContext(sqlStatement=org.apache.shardingsphere.sql.parser.sql.statement.dml.InsertStatement (super=CommonSQLStatementContext(sqlStatement=org.apache.shardingsphere.sql.parser.sql.statement.dml.InsertStatement @761320d4, orderByContext=org.apache.shardingsphere.sql.parser.relation.segment.select.orderby.OrderByContext

    11210

    Apache ShardingSphere 在京东白条场景的落地之旅

    “ 京东白条使用 Apache ShardingSphere 解决了千亿数据存储和扩容的问题,为大促活动奠定了基础。 架构灵活扩展 Apache ShardingSphere 解决方案 ShardingSphere-JDBC 是 Apache ShardingSphere 的第一款产品,它定位为轻量级 Java 框架 同时 Apache ShardingSphere 提供了分布式主键生成器的接口,用户可自定义自增主键生成算法来满足特殊场景的需求。 除了对功能上的增强,Apache ShardingSphere 为满足京东白条业务严苛的性能要求,同时做了多方面调优。 关于对接过程中的问题详情及方案,请通过《Apache ShardingSphere 对接京东白条实战》一文来了解。

    16330

    深度剖析Apache Shardingsphere对分布式事务的支持

    Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈,它由 JDBC、Proxy 和 Sidecar(规划中)这 3 款相互独立,却又能够混合部署配合使用的产品组成 ShardingSphere 已于2020年4月16日成为 Apache 软件基金会的顶级项目。 分布式系统CAP理论 ? org.apache.shardingsphere.transaction.xa.XAShardingTransactionManager详解 我们简单的来回顾下org.apache.shardingsphere.transaction.spi.ShardingTransactionManager 加入我们 Apache ShardingSphere 一直践行Apache Way的开源之道,社区完全开放与平等,人人享受开源带来的快乐。 地址: https://github.com/apache/shardingsphere 作者介绍:肖宇,Apache ShardingSphere Committer,开源hmily分布式事务框架作者

    18610

    DistSQL:像数据库一样使用 Apache ShardingSphere

    Apache ShardingSphere 5.0.0-beta 深度解析的第一篇文章和大家一起重温了 ShardingSphere 的内核原理,并详细阐述了此版本在内核层面,特别是 SQL 能力方面的优化和提升 孟浩然 SphereEx 高级 Java 工程师 Apache ShardingSphere Committer 曾就职于京东科技,负责数据库产品研发,热爱开源,关注数据库生态,目前专注于 ShardingSphere 作为国内开源的佼佼者, ShardingSphere 在分布式数据库生态的探索中并没有停止脚步,打破中间件和数据库之间的界限,让开发者像使用数据库一样使用 Apache ShardingSphere,是 了解更详细的语法规则,可参考官方文档:https://shardingsphere.apache.org/document/current/cn/features/dist-sql/syntax/ DistSQL 环境准备 启动 MySQL 服务 创建用于分片的 MySQL 数据库 启动 Zookeeper 服务 打开分布式治理配置并启动 ShardingSphere-Proxy (https://shardingsphere.apache.org

    27030

    Apache ShardingSphere sharding-jdbc 分布式事务小练习

    :99 [INFO ] Rule Type: sharding 19:12:21 org.apache.shardingsphere.core.route.SQLLogger.log:99 [INFO :99 [INFO ] Rule Type: sharding 19:12:21 org.apache.shardingsphere.core.route.SQLLogger.log:99 [INFO :99 [INFO ] Rule Type: sharding 14:01:30 org.apache.shardingsphere.core.route.SQLLogger.log:99 [INFO true 14:01:31 org.apache.shardingsphere.core.route.SQLLogger.log:99 [INFO ] Rule Type: sharding 14:01 true 14:01:31 org.apache.shardingsphere.core.route.SQLLogger.log:99 [INFO ] Rule Type: sharding 14:01

    24520

    分布式数据库中间件——Apache ShardingSphere

    本文作者 张亮 京东数科数据研发负责人,Apache ShardingSphere发起人兼PPMC。 ShardingSphere已经进入Apache孵化器,是京东集团首个进入Apache基金会的开源项目,也是Apache基金会首个分布式数据库中间件。 ShardingSphere已于2018年11月10日正式进入Apache软件基金会孵化器,并正式被命名为Apache ShardingSphere。 2018年6月,ShardingSphereApache ServiceComb达成合作共识,将采用 Apache ServiceComb-saga作为ShardingSphere柔性事务的决策执行引擎 2018年“双11”的前一天,ShardingSphere通过Apache软件基金会的投票,正式成为Apache孵化项目,软件更名为Apache ShardingSphere

    1.9K30

    shardingSphere学习一

    shardingSphere1.0中,在看到mybatis的列子中,我们可以看到需要配置:mybatisContext.xml和shardingContext.xml。 ? 2.DatabaseShardingStrategy 数据源分片策略 SingleKeyModuloDatabaseShardingAlgorithm 单key模库分片算法 如图所示,图片来自shardingSphere

    8130

    ShardingSphere 数据分片

    我们今天用ShardingSphere 给大家演示数据分片,包括分库分表、只分表不分库进行说明。 下一节有时间的话在讲讲读写分离吧。 代码案例 总结 ---- ShardingSphere介绍 ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈,它由Sharding-JDBC、Sharding-Proxy ShardingSphere的功能能帮助我们做什么 数据分片 读写分离 编排治理 分布式事务 2016年初Sharding-JDBC被开源,这个产品是当当的,加入了Apache 后改名为 ShardingSphere 更多文档请点击官网:https://shardingsphere.apache.org/document/current/en/overview/ 为什么不用mycat 大家如果去查相关资料会知道 ,mycat和ShardingSphere是同类型的中间件,主要的功能,数据分片和读写分离两个都能去做,但是姿势却有很大的差别, 从字面意义上看Sharding 含义是分片、碎片的意思,所以不难理解ShardingSphere

    1.6K40

    (一)ShardingSphere介绍

    分库分表中间件简介 二、ShardingSphere产品路线 1. ShardingSphere-JDBC 2. ShardingSphere-Proxy 3. Sharding-JDBC 2.x版本开始支持数据库治理,如注册中心、配置中心等,再到3.x版本推出了Proxy产品,还增加了分布式事务,支持Atomikos、Narayana、Bitronix、Seata,4.x为Apache 读写分离 行级权限(TODO) SQL方言转化(TODO) 可观测性(第三方集成) 分布式事务 SQL审计(TODO) 弹性伸缩 SQL防火墙(TODO) 高可用 参考: https://shardingsphere.apache.org /document/current/cn/overview/ https://shardingsphere.apache.org/document/current/cn/concepts/ https: //shardingsphere.apache.org/document/current/cn/features/ https://www.zhihu.com/question/448775613 https

    11710

    Apache ShardingSphere开源分布式数据库中间件应用详解

    Apache ShardingSphere(Incubating)不失时机的在2019年初,提供了一个刚柔并济的一体化分布式事务解决方案。 2019年3月23日,京东技术沙龙第27期:京东基础架构与中间件 本期活动将从Apache ShardingSphere这套开源分布式数据库中间件解决方案展开,包括Apache Camel这款优秀的集成框架 受限于Apache基金会项目License的原因,Apache ShardingSphere(Incubating)将采用Apache协议的Atomikos作为其默认实现,关于基于LGPL协议的Bitronix Apache ShardingSphere(Incubating)采用Apache ServiceComb Saga Actuator [https://github.com/apache/servicecomb-saga-actuator 项目地址: https://github.com/apache/incubator-shardingsphere

    77320

    ShardingSphere实践(6)——弹性伸缩

    -5.1.1-shardingsphere-proxy-bin/lib/ # 重启Proxy /root/apache-shardingsphere-5.1.1-shardingsphere-proxy-bin /bin/stop.sh /root/apache-shardingsphere-5.1.1-shardingsphere-proxy-bin/bin/start.sh 1. /document/current/cn/features/scaling/ https://shardingsphere.apache.org/document/current/cn/reference /scaling/ https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-proxy/scaling / https://shardingsphere.apache.org/document/current/cn/user-manual/shardingsphere-proxy/distsql/syntax

    6120

    ShardingSphere」SQL 路由引擎

    对源码有兴趣的同学可以阅读 shardingsphere-route.jar 包。

    35450

    ShardingSphere 介绍与简单入门

    Apache ShardingSphere 是一套开源的分布式数据库中间件解决方案组成的生态圈,它由 JDBC、Proxy 和 Sidecar(规划中)这 3 款相互独立,却又能够混合部署配合使用的产品组成 于是,我将 Apache ShardingSphere 产品介绍与开发入门通篇阅读了一遍。 那么,本周将围绕 “Apache ShardingSphere” 进行展开。 1. Apache ShardingSphere 简介 它从2016年开源,到2020年4月16日成为 Apache 软件基金会的顶级项目。 Apache ShardingSphere 架构 ShardingSphere 由 JDBC、Proxy 和 Sidecar(规划中)这 3 款相互独立,却又能够混合部署配合使用的产品组成。 Apache ShardingSphere 功能列表 数据分片 分库 & 分表 读写分离 分片策略定制化 无中心化分布式主键 分布式事务 标准化事务接口 XA 强一致事务 柔性事务 数据库治理 分布式治理

    30520

    ShardingSphere实践(3)——数据分片

    ShardingSphere的优化         ShardingSphere 进行了 2 个方面的优化。         首先,采用流式处理 + 归并排序的方式来避免内存的过量占用。 三、用例测试         本节用一些简单的例子演示ShardingSphere的数据分片功能。先看一下ShardingSphere-Proxy的运行模式。 本专栏后面“数据迁移”一篇中将演示如何使用ShardingSphere-Scaling,联机从现有的单实例MySQL无缝全量迁移到ShardingSphere。 5. 参考: https://shardingsphere.apache.org/document/current/cn/features/sharding/ https://shardingsphere.apache.org /document/current/cn/reference/sharding/ https://shardingsphere.apache.org/document/current/cn/user-manual

    7120

    ShardingSphere实践(5)——性能测试

    数据分片 参考: ----         从业务角度考虑,分为直连、单路由、主从、分库分表四个基本应用场景,对 ShardingSphere-Proxy 和 MySQL 进行性能对比。 ShardingSphere官方文档中说明支持Sysbench和BenchmarkSQL 5.0,但是BenchmarkSQL 5.0本身不支持MySQL数据库(需要自行修改源码重新编译),因此别无选择只能使用 在以前做的tpcc-mysql对比测试中(“5.6.6 消费延迟监控”),Greenplum与MySQL的QPS相差2.75倍,虽然也有差距,但总不像ShardingSphere这般夸张。         report-interval=1 \ /usr/local/share/sysbench/oltp_read_write.lua cleanup         本专栏后面部分还会继续演示从单实例MySQL到ShardingSphere-Proxy 参考: https://shardingsphere.apache.org/document/current/cn/reference/test/performance-test/performance-test

    12320

    ShardingSphere实现分库分表

    文章目录 一、简介 二、项目使用 1、引入依赖 2、数据库 3、实体类 4、mapper 5、yml配置 6、测试类 7、数据 一、简介   Apache ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈 Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力,而并非实现一个全新的关系型数据库。 Apache ShardingSphere 5.x 版本开始致力于可插拔架构,项目的功能组件能够灵活的以可插拔的方式进行扩展。 Apache ShardingSphere 目前已提供数十个 SPI 作为系统的扩展点,仍在不断增加中。    ShardingSphere 已于2020年4月16日成为 Apache 软件基金会的顶级项目。

    10230

    相关产品

    • 云数据仓库 for Apache Doris

      云数据仓库 for Apache Doris

      云数据仓库Doris(cdwdoris)为您提供基于 MPP(大规模并行处理)架构的云端Doris托管服务,拥有开箱即用,弹性易扩展等特性。云数据仓库 Doris支持标准SQL语言,兼容MySQL协议,支持对PB级的海量数据进行高并发查询,和亚秒级的快速分析,帮助您轻松应对多种ETL数据处理和业务探索场景。

    相关资讯

    热门标签

    扫码关注云+社区

    领取腾讯云代金券