首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

对于大表的写入和统计查询该如何权衡,我有四个解决思路

所以从我的理解中,月数据量在一千万,其实量级不大,按照几年的饿一个维度来存储,这个量级其实也可以接受。...我有几种迭代方案: 1.单独建一个归档库,把这些年的订单放在一起,即可以统一访问入口,比如order表,数据按照业务ID分片(如果没有,自增ID也行,不做业务逻辑接入),底层可以使用mycat分片,唯一性索引需要在订单号上面...2.使用mysql列式存储引擎infobright,社区版足够,60亿的统计大概10秒左右出数据,需要离线文件load,不支持DML ,其中的方案特点就是针对列式存储的方式来大大提高效率,当然是用HBase...3.考虑TiDB的方案,大数据量效果也不错,建议直接写入TiDB,次之业务双写,如果TiDB做sync源,复杂度高,而且难以追溯,性能可以做下权衡 。其中如下图,可以在TiKV层面做横向扩展。 ?...今天读到的一段文字,让我有一种莫名的感同身受,尽管经历不同:我希望你们不要和我一样,耽误了十二年,快被业内淘汰的时候才把早该弄明白的问题搞清楚。

80320
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    YashanDB物理存储结构

    # 归档日志文件归档日志文件是在线redo重做日志的副本,常用于备库的同步复制或恢复数据库至指定时间点,数据库处于归档模式才会产生归档日志。...在主备部署形态或需要生成备份集的情况下,必须打开归档使数据库处于归档模式。控制文件# 控制文件概述控制文件是YashanDB的大脑,是数据库实例挂载数据库的入口。...存储结构区:用于存储表空间、数据文件、redo重做日志、归档日志等存储结构信息。...YashanDB通过双写技术解决数据块半写问题,在数据块落盘时,会先写入双写区。数据库启动时会通过双写区恢复异常退出导致的断裂页。...双写文件是双写区的存储载体,在建库时创建,用户可以独立指定双写文件的路径、大小等信息。

    10510

    一文读懂数据分片技术差异

    最好的人生是在每个关键点上,既选对题,又解好题。人生最大的痛苦在于解对了题,但选错了题,而且还不知道自己选错了题。正如人生最大的遗憾就是,不是你不行,而是你本可以。...此时面对这种需求,普遍的解决方法主要来自两种:一是数据拆分,从根本减少数据规模;二是数据清理与归档,减少活跃数据。前者常见的策略就是垂直拆分、水平拆分,拆分之后的数据规模减小,更好处理。...这部分具体可参照之前的文章《行业观察:数据分片哪家强》。后者,则是建立数据全生命周期,通过清理、归档等方式减少活跃数据量,提高数据库处理性能。上述两种方法,直到现在仍然具备普适意义。...整体的承载能力取决于共享存储空间的大小,如传统的集中式存储可提供近千块磁盘、近PB的容量。后期随着存储技术的发展,分布式存储逐渐成熟,其扩展能力又有了进一步的提升。...最好的人生是在每个关键点上,既选对题,又解好题。人生最大的痛苦在于解对了题,但选错了题,而且还不知道自己选错了题。正如人生最大的遗憾就是,不是你不行,而是你本可以。

    1.1K20

    腾讯云深度归档让数据从磁带走向云端

    典型的数据归档业务场景包括: 金融交易:交易日志、票据影像、双录视频; 视频监控:安防监控、交通监控、个人视频监控; 生命科学:医疗影像数据、电子病例、基因测序数据; 广告营销:电子商务日志、广告营销日志...对比传统磁带库归档方案,客户有了更具性价比的选择。 二、腾讯云深度归档介绍 腾讯云近期发布了深度归档存储,一款新的对象存储COS类型,可以提供低成本、安全持久的数据存储服务。...备份服务器直接访问对象存储COS,支持类型包括标准存储、低频存储、归档存储和深度归档存储。...2.png 备份服务器将数据压缩、去重后,可以直接写入深度归档存储,或者先写入标准存储后,通过生命周期管理自动沉降到深度归档存储。...通过文件存储网关归档 如果备份软件还不兼容对象存储COS,可以借助CSG文件存储网关,通过备份软件创建NAS归档介质库,间接归档数据到云上深度归档存储。

    3.5K40

    双 11 特供!临战前收下这几款小程序,分分钟省下一个亿

    时效性攻略负责满足眼下最痛的痛点,像 11.11 刷什么卡优惠最多,宝宝安全座椅选双 11 购指南,实实在在的干货贴。...除此之外,当大家都不知道吃什么,喝什么好,或争执不下没有定论时,亮出 「抛个硬币」,顺应天意,很快也就有了结果。 爽快地接受今天的麻婆豆腐+雪碧吧!...无论是吃吃喝喝,还是买买买,受不了持续纠结的时候,一步点开这个小程序,舒缓下自己的决策压力也是好的。毕竟双十一,是为了让自己的更开心,不是更焦虑。 ?...那么问题来了,费心挑了不少优价好物,怎么买才能最划算,对得起节日做活动的优惠? 「消费分期计算器」这款小程序就是帮你理性消费的高效工具。算计好,省下一波可以再买买买。...它最核心的益处就是告诉你分期付款哪家强,哪款分期产品最适合你。主流信用卡+互联网白条产品,基本覆盖了目前的常用分期选择。在各种选择中,你最关心的无非就是哪家利息少,或者每月可以少还款。

    56.8K40

    ApacheCN Python 译文集 20211108 更新

    第二章 变量,表达式,语句 第三章 函数 第四章 案例学习:交互设计 第五章 条件循环 第六章 有返回值的函数 第七章 迭代 第八章 字符串 第九章 案例学习:单词游戏 第十章 列表 第十一章 字典 第十二章...:cat 练习 6:find 练习 7:grep 练习 8:cut 练习 9:sed 练习 10:sort 练习 11:uniq 练习 12:复习 第三部分:数据结构 练习 13:单链表 练习 14:双链表...Python 系统管理脚本编程 零、前言 一、Python 脚本概述 二、调试和分析 Python 脚本 三、单元测试——单元测试框架简介 四、使日常管理活动自动化 五、处理文件、目录和数据 六、文件归档...计划扩展我们的应用 六、使用菜单和 Tkinter 对话框创建菜单 七、使用Treeview导航记录 八、通过样式和主题改善外观 九、使用 unittest 创建自动化测试 十、使用 SQL 改进数据存储...图表 六、线程与网络 七、通过 GUI 将数据存储到我们的 MySQL 数据库中 八、国际化与测试 九、使用 wxPython 库扩展 GUI 十、使用 PyOpenGL 和 PyGLet 创建惊人的

    18.9K30

    聊聊人脸识别支付

    双11、618,血拼之后的网友们纷纷表示要剁手,但是,当下仅剁手已不足以解决问题了,传统的刷卡模式已经转变为了“刷脸模式”…… 本文就来聊聊MasterCard公司新推出的支付技术——生物识别技术。...该技术会应用在一个新的移动APP中:当用户选择好商品进入支付系统时,它会要求你拍一张自拍照进行验证,是不是感觉比记住密码还要省事呢。...除此之外,MasterCard还和两个银行合作,目前还不清楚哪家银行的客户能体验到这一技术。 MasterCard移动应用程序的使用方法 用户需要下载MasterCard应用程序才能使用该功能。...Bhalla解释称,每个指纹扫描结果都会转化成代码存储在用户的手机上。然而人脸识别的数据会被转化成二进制,然后传送到MasterCard服务器。...MasterCard不能修改用户的图像,它会以加密的方式存储在公司的服务器上。 除了指纹和面部表情识别技术之外,MasterCard还在研发语音识别技术。

    7.2K80

    某资产管理平台Oracle改造Mysql方略

    六、数据迁移:在Oracle 和 Mysql上布署Ogg或ETL工具对所有使用到的表数据进行在线迁移(完成异构平台数据迁移,先全量、再增量;OGG需要数据库Source端开启归档模式及增加辅助补充日志、...五、数据迁移:在Oracle 和 Mysql上布署Ogg或ETL工具对所有使用到的表数据进行在线迁移(完成异构平台数据迁移,先全量、再增量;OGG需要数据库Source端开启归档模式及增加辅助补充日志、...2、 将UAT环境理改写调试好的建表脚本布署到生产环境mysql库上。...3、 将UAT环境理改写调试好的存储过程、函数、触发器、Schedule、Program、Job 布署到生产环境mysql库上(若项目组改造采用计算与数据库分离方式此步可省略,则调整为布署新的应用程序上生产环境...备注:若生产环境没有停机维护窗口,前期只能通过应用双写模式,让Oracle与Mysql库并行运行,确保两边数据一致、功能平稳运行一段时间后再切断指向Oracle的连接。

    88200

    腾讯云双11活动COS标准存储产品深度评测

    引言每年的双11购物节,已经成为# 腾讯云双11活动COS标准存储产品优惠与产品介绍特性引言每年的双11购物节,作为中国最大的购物狂欢节,吸引了无数消费者的目光。...本文将详细介绍腾讯云COS标准存储的产品特性、使用场景、优惠活动以及如何在双11期间最大化利用这些优惠。...五、如何最大化利用COS标准存储5.1 选择合适的存储类型在使用COS时,用户需要根据实际需求选择合适的存储类型。COS提供多种存储类型,包括标准存储、低频存储和归档存储。...5.3 使用生命周期管理COS支持生命周期管理,用户可以设置对象的生命周期规则,自动将不再频繁访问的数据转移到低频存储或归档存储,降低存储成本。...希望本文能够帮助你更好地了解腾讯云COS标准存储产品及其在双11活动中的优惠信息,助力你的云计算之旅。

    9010

    谁才是ARM平台存储系统的忠实践行者?

    然而在传统双控存储系统平台上,至今没有看到ARM进入,其原因则是存储系统其实还是需要较强算力的,因为存储系统不仅是一个存数据的地方,更是对数据进行管理、优化、分析、保护的地方,其内置的诸如重复数据删除、...3 ARM+EBOD,挺好的方案 说道这里似乎无解了,双控不适合用ARM,做成分布式的小鞭炮又暴露了太多节点增加了管理复杂度。...经过这样的设计,在前置网关上可以更聚焦上层业务的开发,比如冷热分层,备份归档管理等。 ?...为一款冷存储及归档系统,需要保持低功耗,而随时又能调取数据,对于磁带和光盘库这些归档存储来讲,迅速调取数据是不可能了,都有相当的延迟。...瑞驰的这种冷数据存储方案具备大容量及数据统一归档的优势,日常归档状态下进行休眠,可根据用户使用需求自动唤醒并进行数据调阅,大大提高冷数据调阅效率,并且从设备投入、电力投入等方面减少大量成本,为用户带来高性价比的冷数据存储方案

    1K20

    解读:“金融数据治理指引”

    第二十二条,谈到“应当建立适应监管数据报送工作需要的信息系统,实现流程控制的程序化,提高监管数据加工的自动化程度”。以上均从实施层面,细化了对监管报送工作的要求。...解读6 明确部门、职责、岗位、问责 指引第十二至十四条,指出需设置管理部门并授权来负责数据治理体系建设,同时设置专职岗位落实工作。...第二十五条,也提出“数据资料统一管理,建立严密管理流程、归档制度、梳理口径等”。以上内容,可视为对数据生命周期的管理(如下图)。在数据不同使用环节,标准化、流程化,进而提升数据使用质量。...这部分是对数据采集、使用、存储、访问等多个维度进行约定,数据的基础需建立在合法依规的数据共享和使用基础之上。同时强调利用数据分级、审计、监控等手段予以落实。对个人隐私方面,需遵守国家相关法律。...解读10 质量源头抓起,业务数据双控制 指引第四章,专门谈及了数据质量问题。其中业务源头作为数据进入金融机构的节点源头,应尽力确保其数据治理,才能最大程度避免后续质量问题。

    3K10

    二、DDL 数据表

    一、MYSQL存储引擎 存储引擎,就是如何存储数据、如何更新数据、如何查询数据、如何为存储的数据建立索引等一系列技术的实现方法。...可以通过 show engines; 语句查看mysql支持的存储引擎。...mysql 常用存储引擎: MyISAM:拥有较快的插入和查询速度,但是不支持事务; InnoDB:支持ACID事务,指出行级锁,支持外键,MYSQL5.5 版本后的默认存储引擎; MRG_MYISAM...:将一组结构相同的 MyISAM 表聚合成一个整体,在进行增删该查操作; Memory:所有数据存储在内存中,响应快;MySQL 重启时数据会全部丢失; Archive:归档,且有压缩机制,适用于历史数据归档...字节 极大整数值; float:4 字节 单精度浮点数值; double:8 字节 双精度浮点数值; decimal:Max(D+,M+) 含小数值,一般用于金额。

    66120

    二、DDL 数据表

    一、MYSQL存储引擎 存储引擎,就是如何存储数据、如何更新数据、如何查询数据、如何为存储的数据建立索引等一系列技术的实现方法。...可以通过 show engines; 语句查看mysql支持的存储引擎。...mysql 常用存储引擎: MyISAM:拥有较快的插入和查询速度,但是不支持事务; InnoDB:支持ACID事务,指出行级锁,支持外键,MYSQL5.5 版本后的默认存储引擎; MRG_MYISAM...:将一组结构相同的 MyISAM 表聚合成一个整体,在进行增删该查操作; Memory:所有数据存储在内存中,响应快;MySQL 重启时数据会全部丢失; Archive:归档,且有压缩机制,适用于历史数据归档...字节 极大整数值; float:4 字节 单精度浮点数值; double:8 字节 双精度浮点数值; decimal:Max(D+,M+) 含小数值,一般用于金额。

    77600

    学会数据库的分库分表,吊打大厂面试官!

    如果存储非常重要的订单数据时,我们就不能使用MongoDB,因为订单数据必须使用强约束的关系型数据库进行存储。...所以综合以上数据采用32个库x8张表进行分库分表,5年后每张表平均数据量为:636W 单表数据量不超过千万,查询性能在当前机器配置下可以接受,如果未来数据过多,可以根据数据创建时间根据年限进行归档处理,...保留最近5年用户最新数据,做冷热分离改造 大表改造的基本步骤 1.上线双写以及数据迁移,数据对比程序,此时业务还是读取旧库 2.双写读旧:切换apollo之类的开关(apollo对应配置)以及记录双写开始时原数据库的最大主键...ID及上线双写时间,方便后续数据迁移 3.数据迁移:开启定时任务,在夜间访问低峰期分页迁移历史数据(ID小于双写时记录的最大主键ID的数据) 4.数据对比:等所有历史数据迁移完成,校验历史数据是否全部迁移完成...,问题解决后再观察一段时间 6.写新读新:日志观察没问题,也没有异常反馈时,切换数据库的访问读写均为新库,完成大表改造 7.数据清理:针对老表的历史数据进行归档清理 异构数据查询 上面是只有C端用户访问的一些通用大表治理方法

    34140

    ApacheCN DevOps 译文集 20211227 更新

    设计和构建容器化解决方案 五、容器优先的解决方案设计 六、使用 Docker 组合组织分布式解决方案 七、使用 Docker Swarm 编排分布式解决方案 第三部分:为生产准备 Docker 八、管理和监控归档的解决方案...Kubernetes 简介 十三、使用 Kubernetes 部署、更新和保护应用 十四、在云中运行容器化应用 十五、答案 精通 Docker 零、前言 一、Docker 概述 二、构建容器映像 三、存储和分发映像...九、Docker 安全 十、获取帮助、提示和技巧 十一、云上的 Docker 面向 Java 开发者的 Docker 和 Kubernetes 教程 零、前言 一、Docker 简介 二、网络和持久存储...的容器化部署 十、容器和 OpenStack 的最佳实践 Kubernetes DevOps 手册 零、前言 一、DevOps 简介 二、容器和 DevOps 三、Kubernetes 入门 四、使用存储和资源...保护您的应用 七、监控 AKS 集群及其应用 第三部分:保护您的 AKS 集群和工作负载 八、AKS 中基于角色的访问控制 九、AKS 中由 Azure 活动目录 pod 管理的身份 十、在 AKS 中存储机密

    4.5K30

    架构思考-业务快速增长时的容量问题

    背景 之前做过一个项目,数据库存储采用的是mysql。当时面临着业务指数级的增长,存储容量不足。...采用的是数据库双写的方式,采用异步确保性的补偿型事务,发送实时和延迟两个MQ,通过开关来控制以老数据为准还是新数据库为准。...超过指定时间则进行数据归档。将数据归档到HBase等,一般对于历史的查询实时性要求也不是很高。...过渡可以采用上面说的双写方式,观察运行情况进行切换。切换过程中也可以不关闭流量。 麻烦的是数据归档。因为数据归档后删除数据库的数据,变更生效时,针对innodb来说,意味着数据结构重建,频繁IO。...采用新的解决方案最大问题是平滑过渡,平滑过渡方面我还是觉得上面提到的数据库双写方式安全可靠。 系统共建的解决方案 如果达到我所说的量级,基本上在一个行业中是处于垄断地位的。

    67020

    架构思考-业务快速增长时的容量问题

    背景 之前做过一个项目,数据库存储采用的是mysql。当时面临着业务指数级的增长,存储容量不足。...采用的是数据库双写的方式,采用异步确保性的补偿型事务,发送实时和延迟两个MQ,通过开关来控制以老数据为准还是新数据库为准。...超过指定时间则进行数据归档。将数据归档到HBase等,一般对于历史的查询实时性要求也不是很高。...过渡可以采用上面说的双写方式,观察运行情况进行切换。切换过程中也可以不关闭流量。 麻烦的是数据归档。因为数据归档后删除数据库的数据,变更生效时,针对innodb来说,意味着数据结构重建,频繁IO。...采用新的解决方案最大问题是平滑过渡,平滑过渡方面我还是觉得上面提到的数据库双写方式安全可靠。 系统共建的解决方案 如果达到我所说的量级,基本上在一个行业中是处于垄断地位的。并不是一家纯的互联网公司。

    81320
    领券