昨天面试了一个MYSQL的DBA, 在面试的过程中有一个项目经营,某银行的MYSQL数据到MONGODB 的数据迁移. 我比较好奇,多问了两句
这几年一直是MONGODB使用者，从3.2 到4.0 ，在使用中也一直充分的感受到MONGODB 这几年的飞速的发展以及功能的扩展，偶然在极客时间里面看到有MONGODB 的 终极玩家 唐建法 老师的关于MONGODB的课，其中有一段内容以前是不大敢想的, 就是ORACLE TO MONGODB。
Squids DBMotion，新增MongoDB数据迁移的支持，为用户提供零停机、高性能的在线数据迁移、校验服务。
随着网络技术的提升，视频直播已经成为了互联网的一种常态。因为视频直播最接近人类沟通方式，易于使用、交互能力强、体验最好，所以拥有庞大的用户群。巨大的用户需求加剧了直播平台之间的竞争，为了增强竞争力，吸引更多的用户，各大直播平台想方设法提升自身服务质量，不仅要不断推出新的业务形式，还要大力借助IT技术的力量。
尽管如此，目前还是有许多企业踏上了服务化改造的道路，这其中则免不了”旧改”的各种繁杂事。
李猛(ynuosoft)，Elastic-stack产品深度用户，ES认证工程师，2012年接触Elasticsearch，对Elastic-Stack开发、架构、运维等方面有深入体验，实践过多种Elasticsearch项目，最暴力的大数据分析应用，最复杂的业务系统应用；业余为企业提供Elastic-stack咨询培训以及调优实施。
本文来自OPPO文档数据库mongodb负责人杨亚洲老师2020年深圳Qcon全球软件开发大会《专题：现代数据架构》专场、dbaplus专场：万亿级数据库MongoDB集群性能优化实践、mongodb2020年终盛会分享，分享内容如下(体验万亿级mongodb服务层、存储引擎、高并发线程模型、异地多活容灾等实现细节）。
周二有同学问，MONGODB怎么备份，怎么数据迁移，正好最近要做一个项目的数据迁移，其中就有MONGODB ，正好以一个项目的观念来看看MongoDb的数据迁移和备份的观点，如果有遗漏或三观不正，还是请大家来指正。
陈某的知识星球开通了，一个相互交流的技术圈子，陈某会在星球中定期分享干货，如果你也想和球友一起打卡学习进阶，戳链接加入
最近的一个多月时间其实都在做数据库的迁移工作，我目前在开发的项目其实在上古时代是使用 MySQL 作为主要数据库的，后来由于一些业务上的原因从 MySQL 迁移到了 MongoDB，使用了几个月的时间后，由于数据库服务非常不稳定，再加上无人看管，同时 MongoDB 本身就是无 Schema 的数据库，最后导致数据库的脏数据问题非常严重。目前团队的成员没有较为丰富的 Rails 开发经验，所以还是希望使用 ActiveRecord 加上 Migration 的方式对数据进行一些强限制，保证数据库中数据的合法。
本文来自vivo官网商城开发团队，主要讲述 vivo 评论中台在数据库设计上的技术探索和实践。
随着公司业务发展和用户规模的增多，很多项目都在打造自己的评论功能，而评论的业务形态基本类似。当时各项目都是各自设计实现，存在较多重复的工作量；并且不同业务之间数据存在孤岛，很难产生联系。因此我们决定打造一款公司级的评论业务中台，为各业务方提供评论业务的快速接入能力。在经过对各大主流 APP 评论业务的竞品分析，我们发现大部分评论的业务形态都具备评论、回复、二次回复、点赞等功能。
本文是第10篇，主要讲述Change Streams构建实时同步数据流的实战经验，非常值得一看。
卡思数据是国内领先的视频全网数据开放平台，依托领先的数据挖掘与分析能力，为视频内容创作者在节目创作和用户运营方面提供数据支持，为广告主的广告投放提供数据参考和效果监测，为内容投资提供全面客观的价值评估。
单个节点的MongoDB实例，具备MongoDB基本的功能和服务能力，不过缺乏数据冗余和高可用，以及横向扩展的能力，一般很少在实际生产环境中使用。
蓝鲸的配置平台（CMDB）底层使用的是 Mongodb 作为数据存储，其优点不用多说，相信使用过的小伙伴应该都会觉得设计很灵活方便。
杨亚洲，前滴滴出行专家工程师，现任OPPO文档数据库MongoDB负责人，负责数万亿级数据量文档数据库MongoDB内核研发、性能优化及运维工作，一直专注于分布式缓存、高性能服务端、数据库、中间件等相关研发。后续持续分享《MongoDB内核源码设计、性能优化、最佳运维实践》。
5月29日，MongoDB中文社区携手MongoDB官方和Tapdata一起在长沙开展2021年第一场线下大会。本次大会带来了包括MongoDB的典型应用案例，MongoDB的分布式能力、数据迁移技术架构、存储引擎相关技术分享，以及MongoDB在物联网实时数据融合平台、互联网证券及金融系统的实战经验。
线上某IOT核心业务集群之前采用MySQL作为主存储数据库，随着业务规模的不断增加，MySQL已无法满足海量数据存储需求，业务面临着容量痛点、成本痛点问题、数据不均衡问题等。
数据分片：https://shardingsphere.apache.org/document/current/cn/features/sharding/
该文介绍了如何使用 Tungsten Replicator 进行 MySQL 和 MongoDB 数据库之间的数据同步。首先介绍了环境配置和依赖安装，然后讲解了数据同步的步骤。最后列举了一些常见问题及解决方法。
我们知道，为了应对不断增长的数据，我们对数据进行切分，存储在不同的数据库里，本文提到的数据库在非特定指明的情况下，均指一个逻辑数据库（是一组数据库，比如Master-Slave），而非单一各个物理数据库。
MongoDB是一个基于分布式文件存储的数据库，其目的在于为WEB应用提供可扩展的高性能数据存储解决方案。下面将以3台机器介绍最常见的集群方案。具体介绍，可以查看官网 https://docs.mongodb.com/v3.4/introduction/。
MongoDB中，在使用到分片的时候，常常会用到chunk的概念，chunk是指一个集合数据中的子集，也可以简单理解成一个数据块，每个chunk都是基于片键的范围取值，区间是左闭右开。例如，我们的片键是姓名的第二个字母，包含了A-Z这26中可能，理想情况下，划分为26个chunk，其中每个字母开头的姓名记录即为一个chunk。
YApi 是高效、易用、功能强大的 api 管理平台，旨在为开发、产品、测试人员提供更优雅的接口管理服务。可以帮助开发者轻松创建、发布、维护 API，YApi 还为用户提供了优秀的交互体验，开发人员只需利用平台提供的接口数据写入工具以及简单的点击操作就可以实现接口的管理。
Mongoshake 是阿里云自研的开源工具，实现Mongodb 数据库之间的数据同步，数据灾备，数据多活，分库分表，版本升级无间断。
change streams从本质上来说是提供了一种基于mongoDB的CDC（Change Data Capture）的解决方案。所谓的CDC就是变化数据捕获，简单理解为监听数据库系统的变更就好。下面的图中描述了CDC的典型场景，左边的是主数据库，不同的客户端可以向其中插入数据（有前后关系）；中间是一个队列，这些数据变化都会被放到里面；右边是派生数据系统，消费队列里的变化，然后用作搜索和数据仓库等应用。市场上也不乏这种专门做CDC的产品，比如：HEVO，其宣称的优势包括：1）简单易上手，无需代码；2）良好的交互式用户界面；3）支持多种数据源；4）可容错的安全架构等。
最近微服务架构火的不行，但本质上也只是风口上的一个热点词汇。 作为笔者的经验来说，想要应用一个新的架构需要带来的变革成本是非常高的。
一：对mongodb有一个系统的完备的了解，只有概念清楚了，才能更好的使用 二：学会mongodb数据库的搭建 首先：了解如何部署数据库的服务 搭建简单的单机服务到搭建具有冗余容错功能的复制集再到
编译 | 刘志勇、Tina 谨慎对待那些承诺让工作变得轻松的热门技术——它们通常会偷工减料，而安全性往往是其中之一。 几天前，由于 Docker 中存在多年的一个错误，导致 NewsBlur（一种基于 Web 的 RSS 阅读器）的数据库被黑客删除。 在本周的一篇博客文章中，NewsBlur 的创始人 Samuel Clay 详细讲述了他的遭遇：在将 MongoDB 集群迁移到 Docker 容器过程中，一名黑客获得了 NewsBlur 数据库的访问权限，删除掉了 250GB 的原始数据，并要求他支付 0.
elasticsearch的数据迁移需要使用的工具为elasticsearch-dump，我们可以直接使用docker来拉取镜像
风险无处不在，包括自然灾害以及突发事件等，有时候我们无法预测到一些风险，比如天津港爆炸事件。IT领域也一样，总是有意想不到的事情，风险具有不可预测性，万全之策就是做好灾难应对的各种准备。
根据战略合作协议，双方将专注于加速客户工作负责迁移至云。 全球领先的现代通用数据库平台 MongoDB（NASDAQ代码：MDB）今天宣布将大幅扩展与亚马逊云科技签署的多年期战略合作协议。基于该六年期合作协议框架，MongoDB 和亚马逊云科技将采取一系列举措，更便捷地推进双方共同客户的上云之旅，包括开展销售和营销领域的整合市场活动、共同为开发人员赋能及提供培训、技术集成和商业激励措施，以简化本地工作负载向亚马逊云科技上的 MongoDB Atlas 迁移。 这项协议建立在MongoDB和亚马逊云科技之间
分布式系统（尤其是分布式存储系统）需要解决的两个最主要的问题，即数据分片和数据冗余，下面这个图片形象生动的解释了其概念和区别： 其中数据即A、B属于数据分片，原始数据被拆分成两个正交子集分布在两个节点
今天群里有人问起，刚好做过相关的工作，特此分享一下当时的工作内容和感受。 背景 大概说一下这个事情的背景。在2013年大概4月份，人人网打算做一次大规模的数据迁移——评论服务。所谓评论就是指各种资源下的“评论文字”，比如照片的评论、Blog的评论、分享的评论、音乐的评论…… 早期人人网的各个开发小组各自为政，每个团队几乎都实现了一个评论服务，有各自不同的功能和数据结构，但是大体上还算相似。当时，业务部门希望能够集中这些数据做一些统一的管理，比如权限管理（控制谁能看什么评论）、比如数据内容推荐（基于用户评论人
检查腾讯云数据库 MongoDB 实例的磁盘使用情况，如果磁盘使用率过高，则短时间内可能会写满磁盘，导致后续的数据无法写入，影响业务。
在技术社区混了这么长时间，因为一些常见的技术问题反复被问到，总是想写写文章把它们讲清楚。无奈很多时候看似基础的技术问题背后都隐藏着很深的原因，想要一次性说清楚太花时间，而平时又没有很多时间能花在上面（主要是懒），所以产生了写一系列文章的想法，讲讲我或我的客户使用MongoDB过程中经常遇到的各种“坑”。话虽如此，难者不会会者不难，希望看了这些讲解你就不再认为这些是“坑”了。
在成功建立本地 Waline 服务后，需要考虑之前 Waline 数据迁移的问题了。 背景 国际版 LeanCloud 不能用了 Vercel 不能用了 于是部署在 Vercel 上的 Waline 也不能用了 在 本地部署的 Waline 也就失去了之前的评论数据 需要将 LeanCloud 上的数据迁移到本地来 数据源为 LeanCloud ，目标为 MongoDB 数据库格式，相信其他数据库也是类似的方法 下载 LeanCloud 备份数据 参考 LeanCloud 数据继承 获取备份数据后，其
上云之后 DBA 会原地失业吗？其实多数情况都不会，那上云后还有哪些事需要 DBA 去做的呢？这节内容就来扯一扯。
几十年来，关系型数据库已经成为企业应用程序的基础，自从MySQL在1995年发布以来，它已经成为一种受欢迎并且廉价的选择。然而随着近年来数据量和数据的不断激增，非关系数据库技术如MongoDB应运而生，以满足新应用的需求。 MongoDB用于新的应用程序，以及扩充或替换现有的关系型基础设施（关系型数据库）。
下文以腾讯云数据库 MySQL为例，介绍如何充分利用腾讯云的优势，减轻DBA的负担，轻松来搭建数据库。
Redis 和MongoDB及应用 Redis redis优化策略 redis除了做缓存还能做什么？ 说说redis持久化方式？分别优缺点是什么？redis更新策略是什么？ redis的数据结构存储？以及应用场景？如何实现集群和高可用？ 业务中redis如何保证可用性 怎么实现分布式锁（redis） 分布式锁的实现方式，zk实现和Redis实现的比较 redis支持的数据类型到跳跃表，redis同步策略 ,如何自己实现lru 什么是缓存击穿，redis的hotkey如何处理？如何保证数据库与缓存双写的一致性
最近忙着把一个项目从MySQL迁移到MongoDB，在导入旧数据的过程中，遇到了些许波折，犯了不少错误，但同时也学到了不少知识，遂记录下来。
系统唯一ID是我们在设计一个系统的时候常常会遇见的问题，也常常为这个问题而纠结。生成ID的方法有很多，适应不同的场景、需求以及性能要求。所以有些比较复杂的系统会有多个ID生成的策略。
在from shard将迁移结果提交到config服务器成功后，from shard就会执行删除原数据的操作；如果迁移的参数"_waitForDelete"为false，则触发异步删除。"_waitForDelete"的默认参数即是false，即异步删除是默认设计。
Navicat Premium 是一套数据库开发工具，让你从单一应用程序中同时连接 MySQL、MariaDB、MongoDB、SQL Server、Oracle、PostgreSQL 和 SQLite 数据库。它与 Amazon RDS、Amazon Aurora、Amazon Redshift、Microsoft Azure、Oracle Cloud、MongoDB Atlas、阿里云、腾讯云和华为云等云数据库兼容。你可以快速轻松地创建、管理和维护数据库。
经常会遇到这种情况，我们的业务已经稳定地运行一段时间了，并且流量渐渐已经上去了。这时候，却因为某些原因（比如功能调整或者业务扩展），你需要对数据表进行调整，加字段 or 修改表结构。 可能很多人说 alter table add column … / alter table modify …，轻轻松松就解决了。 这样其实是有风险的 ，对于复杂度比较高、数据量比较大的表。调整表结构、创建或删除索引、触发器，都可能引起锁表，而锁表的时长依你的数据表实际情况而定。 本人有过惨痛的教训，在一次业务上线过程中没有评估好数据规模，导致长时间业务数据写入不进来。 那么有什么办法对数据库的业务表进行无缝升级，让该表对用户透明无感呢？下面我们一个个来讨论。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
