首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

漫话:如何给女朋友解释什么是大案牍术?

万万没想到,女朋友并没有这么问,而是说了一句:四字弟弟好帅啊~! ? ? ? ? ? 01 大案牍术 大案牍术,并不是历史上真实存在的,而是《长安十二时辰》的作者马伯庸自创的。...数据采集存储 数据的采集是指利用多个数据库来接收发自客户端的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。...比如,电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据,除此之外,Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。 2....04 大数据处理相关技术 大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面。 ?...文件存储:Hadoop HDFS、Tachyon、KFS 离线计算:Hadoop MapReduce、Spark 流式、实时计算:Storm、Spark Streaming、S4、Heron K-V、NOSQL

1.1K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    他怎么追个剧都能看出「大数据」来?

    万万没想到,女朋友并没有这么问,而是说了一句:四字弟弟好帅啊~! ? ? ? ? ? 大案牍术 大案牍术,并不是历史上真实存在的,而是《长安十二时辰》的作者马伯庸自创的。...数据采集存储 数据的采集是指利用多个数据库来接收发自客户端的数据,并且用户可以通过这些数据库来进行简单的查询和处理工作。...比如,电商会使用传统的关系型数据库MySQL和Oracle等来存储每一笔事务数据,除此之外,Redis和MongoDB这样的NoSQL数据库也常用于数据的采集。...大数据处理相关技术 大数据技术的体系庞大且复杂,基础的技术包含数据的采集、数据预处理、分布式存储、NoSQL数据库、数据仓库、机器学习、并行计算、可视化等各种技术范畴和不同的技术层面 ?...文件存储:Hadoop HDFS、Tachyon、KFS 离线计算:Hadoop MapReduce、Spark 流式、实时计算:Storm、Spark Streaming、S4、Heron K-V、NOSQL

    72420

    大数据和云计算技术周报:NoSQL特辑

    以下是专门NoSQL集合正文,限于众编辑水平有限,不保证大家都喜欢。 1 高性能Redis Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value类型的NoSQL数据库。...3 Scan用法大观园 比较有含金量的一篇文章,也是今年十二月份刚出炉的新文章,文章针对HBase Scan用法进一步细分,分别针对线上和线下应用场景提供了解决思路,并提供了不同Scan用法间的性能对比测试报告...http://dwz.cn/78OUsR 5 MongoDB优势 MongoDB作为一个NoSQL数据库相比传统关系型数据库有哪些优势,为什么选择MongoDB,下文讲述了一些MongoDB的优点。...http://dbaplus.cn/news-21-189-1.html 7 NoSQL数据库的综述 NoSQL不仅非常博大精深,而本篇将主要给大家做一下NoSQL数据库的综述。

    1.4K80

    摊牌了!

    大家好,我是悟空呀。 有读者反馈我的公众号写了100多篇,怎么连个目录都没有,翻起来费劲。 其实我的文章是有目录的,只是我都放到我的个人网站上了(网站地址:passjava.cn)。...《紫霞仙子:顶得住区块链的十二连问吗?》 架构设计 用火影讲解分布式中间件的坑,用三国赤壁之战讲解服务雪崩,用科幻故事讲解秒杀,用西游记讲解补偿事务。 《这三年被分布式坑惨了,曝光十大坑》高分推荐!...《在医院五天,我把「链路追踪」整明白了》 《双 11 的狂欢,干了这碗「流量防控」汤》 《如果把四个消息队列都拉到一个群里,他们会聊些什么?》...《1W字|40 图|硬核 ES 实战》 《请警惕 ES 的三大坑》 数据库 《8000字 | 32 张图 | 一文搞懂事务+隔离级别+阻塞+死锁》 《三藏一面:为什么要用 NoSQL》 《带你遨游银河系的...10 种分布式数据库》 Mac 使用技巧 《第三天用 Mac,我安装了这些“好玩意”!》

    99130

    面试官:给我讲一下分库分表方案

    大家好,又见面了,我是全栈君。 一、数据库瓶颈↑ 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。...有其他好的办法吗?改变技术栈呢?...注:用NoSQL法解决(ES等)。 3、扩容问题 基于水平分库分表,拆分策略为常用的hash法。 水平扩容库(升级从库法) 注:扩容是成倍的。...水平扩容表(双写迁移法) 第一步:(同步双写)修改应用配置和代码,加上双写,部署; 第二步:(同步双写)将老库中的老数据复制到新库中; 第三步:(同步双写)以老库为准校对新库中的老数据; 第四步:...(同步双写)修改应用配置和代码,去掉双写,部署; 注:双写是通用方案。

    38020

    为什么NoSQL数据库这么受欢迎?

    大数据时代,NoSQL数据库是企业构建数据能力的核心工具之一。...近期,在2022腾讯全球数字生态大会NoSQL数据库专场上,腾讯云发布了多项NoSQL产品能力升级,并重点讲解了其背后的自研技术要点及实现细节,分享了腾讯云NoSQL为广大企业提供的高可靠、高效率、低成本的企业级特性及行业解决方案...开场演讲中,腾讯云数据库高级产品经理佘春明分享了当前NoSQL在企业应用方面的趋势与挑战。...近年来,Redis已成为全球最受欢迎的NoSQL数据库之一,而随着业务的不断运营、发展,兼容Redis协议的海量KV存储需求越来越强。由此,对新一代KV存储数据库产品的市场呼声也日益提高。...为了向全球玩家提供更稳定的游玩体验,光宇游戏在2021年从双云灾备切换至腾讯云单云异地灾备,其多地部署、同城双活的模式极大程度上改善了网络延迟问题。

    1.1K30

    打开我的收藏夹 -- redis篇

    好,不多废话,之后也不多废话,这是第一篇嘛。我知道,这段话写完,我的数据坑定会受影响有波动的。...我曾经一次性打开了四十二个收藏(“Linux服务器”收藏夹),加上其他几个界面,大概有四十五个界面。还行,hold的住。 为什么要全部打开呢?就怕你看到一半想开溜。...NoSQL 我一向认为,技术的存在即合理。可能是曾经合理,可能将来会合理。在这个数据井喷的时代,出现了NoSQL,为什么不继续坚定不移的走SQL道路呢?...那肯定是SQL不够用了嘛,所以NoSQL数据库出来填补空白了。 那么SQL数据库在哪些方面有所不足呢?(看NoSQL的优势,有时候可以从它的对立面去看) 数据量太大了,一台机器硬盘都放不下。...struct listNode *prev; // 后置节点 struct listNode *next; // 节点的值 void *value; } listNode; 双端

    65011

    不用找了,大厂在用的分库分表方案,都在这了!

    一、数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。 在业务Service来看就是,可用数据库连接少甚至无连接可用。...有其他好的办法吗?改变技术栈呢?...后台除了partition key还有各种非partition key组合条件查询 NoSQL法 冗余法 2、非partition key跨库跨表分页查询问题(水平分库分表,拆分策略为常用的hash法)...注:用NoSQL法解决(ES等)。...2.水平扩容表(双写迁移法) 第一步:(同步双写)应用配置双写,部署;第二步:(同步双写)将老库中的老数据复制到新库中;第三步:(同步双写)以老库为准校对新库中的老数据;第四步:(同步双写)应用去掉双写

    95410

    如何回答好面试题,存储过程用还是不用?

    假如此时要把存储过程从 SQL Server 迁移到 Oracle 上,那必然得重招一批数据库开发。成本巨大,且不宜长久的事,哪家公司会做这样的好人?...但 NoSQL 以及分布式大数据平台 (可看成 NewSQL)这支力量,也不可小觑。很多应用不再以数据库为中心,更多采用去中心化设计。...比如以往记录日志,会选择以数据库为存储,不仅耗费大量昂贵的数据库存储空间,还加大数据库的开销。...当中央数据库被划分为 5 大地区数据库后,服务能力提升是明显的。但传统数据库就没有这么好的扩展性。所以各家数据库服务商拼命地都往云上赶,就是这个道理。...但,是不是这些 NoSQL,NewSQL 能直接取代传统数据库了呢,并不是。

    1.1K10

    数据库怎么分库分表,垂直?水平?

    作者:尜尜人物 https://www.cnblogs.com/littlecharacter/ 一、数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值...有其他好的办法吗?改变技术栈呢?...3、后台除了partition key还有各种非partition key组合条件查询 NoSQL法 冗余法 2、非partition key跨库跨表分页查询问题(水平分库分表,拆分策略为常用的hash...法) 注:用NoSQL法解决(ES等)。...2、水平扩容表(双写迁移法) 第一步:(同步双写)应用配置双写,部署; 第二步:(同步双写)将老库中的老数据复制到新库中; 第三步:(同步双写)以老库为准校对新库中的老数据;第四步:(同步双写)应用去掉双写

    89650

    MySQL:互联网公司常用分库分表方案汇总

    作者:尜尜人物 cnblogs.com/littlecharacter/p/9342129.html 一、数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值...有其他好的办法吗?改变技术栈呢? 后台除了partition key还有各种非partition key组合条件查询 NoSQL法 ? 冗余法 ?...注:用NoSQL法解决(ES等)。 3、扩容问题 基于水平分库分表,拆分策略为常用的hash法。 水平扩容库(升级从库法) ? 注:扩容是成倍的。 水平扩容表(双写迁移法) ?...第一步:(同步双写)修改应用配置和代码,加上双写,部署; 第二步:(同步双写)将老库中的老数据复制到新库中; 第三步:(同步双写)以老库为准校对新库中的老数据; 第四步:(同步双写)修改应用配置和代码,...去掉双写,部署; 注:双写是通用方案。

    60941

    分库分表方案总结,学不会你捶我!

    数据库瓶颈 不管是 IO 瓶颈,还是 CPU 瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。...有其他好的办法吗?改变技术栈呢? ③后台除了 partition key 还有各种非 partition key 组合条件查询 NoSQL 法,如下图: ? 冗余法,如下图: ?...注:用 NoSQL 法解决(ES 等)。 扩容问题 基于水平分库分表,拆分策略为常用的 hash 法。 ①水平扩容库(升级从库法) ? 注:扩容是成倍的。 ②水平扩容表(双写迁移法) ?...步骤如下: 第一步:(同步双写)修改应用配置和代码,加上双写,部署。 第二步:(同步双写)将老库中的老数据复制到新库中。 第三步:(同步双写)以老库为准校对新库中的老数据。...第四步:(同步双写)修改应用配置和代码,去掉双写,部署。 注:双写是通用方案。 关于分库分表总结如下: 分库分表,首先得知道瓶颈在哪里,然后才能合理地拆分(分库还是分表?水平还是垂直?分几个?)。

    74610

    软件性能测试(连载20)

    第六代互联网架构数据库按业务分库,在这里分离了课件业务、购买业务以及其他业务,如图3-45所示。 ? 图3-44 数据库读写分离 ?...第十代互联网架构引入NoSQL数据库和搜索引擎等技术,如图3-49所示。 ? 图3-48 通过DNS轮询实现机房间的负载均衡 ?...图3-49 引入NoSQL数据库和搜索引擎等技术 第十一代互联网架构把大应用拆分为小应用,如图3-50所示。 第十二代互联网架构复用的功能抽离成微服务,如图3-51所示。 ?...图3-53 带虚拟节点的分布式结构 1号机、2号机性能好,分配3个虚拟节点;3号机其次,分配2个虚拟节点;4号机最差,分配1个虚拟节点。这样分配公式变为m=rand(232)%9+1。...性能好的机器分配到的任务概率比性能差的机器要高。 在看一种情况,随着业务需求的增长,要向虚拟节点中插入一台5号机器,如图3-54所示。 ? 图3-54 在分布式结构中加入节点 ?

    67820

    不用找了,大厂在用的分库分表方案,都在这了!

    来源:http://rrd.me/ep4ds 一、数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。...有其他好的办法吗?改变技术栈呢? 3. 后台除了partition key还有各种非partition key组合条件查询 NoSQL法 ? 冗余法 ?...2、非partition key跨库跨表分页查询问题(水平分库分表,拆分策略为常用的hash法) 注:用NoSQL法解决(ES等)。...2.水平扩容表(双写迁移法) ?...第一步:(同步双写)应用配置双写,部署;第二步:(同步双写)将老库中的老数据复制到新库中;第三步:(同步双写)以老库为准校对新库中的老数据;第四步:(同步双写)应用去掉双写,部署; 注:双写是通用方案。

    78510

    MySQL:互联网公司常用分库分表方案汇总!

    一、数据库瓶颈 不管是IO瓶颈,还是CPU瓶颈,最终都会导致数据库的活跃连接数增加,进而逼近甚至达到数据库可承载活跃连接数的阈值。在业务Service来看就是,可用数据库连接少甚至无连接可用。...有其他好的办法吗?改变技术栈呢? 后台除了partition key还有各种非partition key组合条件查询 NoSQL法 ? 冗余法 ?...注:用**NoSQL法**解决(ES等)。 3、扩容问题 基于水平分库分表,拆分策略为常用的hash法。 水平扩容库(升级从库法) ? 注:扩容是成倍的。 水平扩容表(双写迁移法) ?...第一步:(同步双写)修改应用配置和代码,加上双写,部署;第二步:(同步双写)将老库中的老数据复制到新库中;第三步:(同步双写)以老库为准校对新库中的老数据;第四步:(同步双写)修改应用配置和代码,去掉双写...,部署; 注:双写是通用方案。

    5.4K10
    领券