单个节点的MongoDB实例，具备MongoDB基本的功能和服务能力，不过缺乏数据冗余和高可用，以及横向扩展的能力，一般很少在实际生产环境中使用。
垂直切分 将数据库想象成由很多个一大块一大块的“数据块”（表）组成，垂直地将这些“数据块”切开，然后把它们分散到多台数据库主机上面 优点 （1）数据库的拆分简单明了，拆分规则明确 （2）应用程序模块清
Google的文件系统GFS是一个典型的分布式文件系统，也是一个分布式存储的具体实现方式。日常的工作和生活中使用的网盘也是一个典型的分布式文件系统。
CBC模式的全称是:Cipher Block Chaining模式（密文分组链接模式）。 在CBC模式中，首先将明文分组与前一个密文分组进行XOR运算，然后再进行加密。
摘 要 RDD是Spark最重要的抽象，掌握了RDD，可以说就掌握了Spark计算的精髓。它不但对理解现有Spark程序大有帮助，也能提升Spark程序的编写能力。 RDD是Spark最重要的抽象，掌握了RDD，可以说就掌握了Spark计算的精髓。它不但对理解现有Spark程序大有帮助，也能提升Spark程序的编写能力。 什么是RDD RDD的全称是“弹性分布式数据集”（Resilient Distributed Dataset）。首先，它是一个数据集，就像Scala语言中的Array、List、Tupl
校验节点是数据存储的“边界”，节点之间的数据构成了存储的一个单位。服务器通过检查这些节点是否正常、完备，可以判断存储服务是否正常。
本篇博文是《从0到1学习 Netty》中进阶系列的第一篇博文，主要内容是介绍粘包半包出现的现象和原因，并结合应用案例来深入讲解多种解决方案，往期系列文章请访问博主的 Netty 专栏，博文中的所有代码全部收集在博主的 GitHub 仓库中；
云主机创建有两种方式，一种通过镜像下载来创建，另一种通过快照回滚来创建， 前者是通用的传统方式，后者依赖于CBS云盘能力。 随着CBS云盘使用越来越广泛，腾讯云主机创建也由原来的镜像下载切换到CBS云盘快照回滚模式。
最近小编老是会被问：如果抽出一块正常工作的服务器硬盘，结果会怎样？ 数据会不会丢？ 业务会不会受影响？ 答案是，不会丢！不受影响！ 保护“使命重大”的硬盘，分两步走： 先判断硬盘状态，看看数据丢没丢 如果一块正常工作的硬盘被抽出，服务器首先会做出反应。 服务器在硬盘读写数据时，设有特殊校验节点进行定时检查。 校验节点是数据存储的“边界”，节点之间的数据构成了存储的一个单位。服务器通过检查这些节点是否正常、完备，可以判断存储服务是否正常。 如果抽出的硬盘重新插入后，服务器发现节点正常，就会判断数
在Hadoop(CDH)分布式环境搭建(简单易懂,绝对有效!)这篇博客中,小菌在最后为大家带来了HDFS的初体验。一些大数据专业的粉丝私信小菌希望能再详细讲讲HDFS的相关内容。于是本次分享,小菌将为
本文主要从以下四个方面介绍：Spark SQL 在字节跳动的应用；什么是分桶；Spark 分桶的限制；字节跳动在分桶方面的优化。
对于上面的两个问题，首先要明确两个概念：Block和InputSplit。在Hadoop中，文件由一个一个的记录组成，最终由mapper任务一个一个的处理。 例如，示例数据集包含有关1987至2008年间美国境内已完成航班的信息。如果要下载数据集可以打开如下网址： http://stat-computing.org/dataexpo/2009/the-data.html 。每一年都会生成一个大文件（例如：2008年文件大小为108M），在每个文件中每单独的一行都代表一次航班信息。换句话说，一行代表一个记录。 HDFS以固定大小的Block为基本单位存储数据，而对于MapReduce而言，其处理单位是InputSplit。
黄玮（Fuyuncat） 黄玮（Fuyuncat），资深 Oracle DBA，从事Oracle数据库管理、维护与开发工作十余年，有丰富的大型数据库设计、开发与维护方面的经验，涉及航空、水利、军工、电信等多个行业。曾供职于某世界著名物流公司，负责公司的电子物流系统的数据库开发和维护工作。2005年创建了个人网 www.HelloDBA.com，致力于数据库底层技术的研究，整理和发布了大量关于数据库系统底层机制、存储结构、性能调优以及基础算法方面的文章，获得广大同行的高度评价。 编辑手记：知己知彼，百战
1.MapReduce核心思想 分而治之，先分后和（只有一个模型） 【将一个大的、复杂的工作或任务，拆分成多个小的任务，并行处理，最终进行合并。适用于大量复杂的、时效性不高的任务处理场景（大规模离线数据处理场景）。】 Map负责数据拆分 map: [k1,v1] → [(k2,v2)] Reduce负责数据合并 reduce: [k2, {v2,…}] → [k3, v3]
运行hadoop程序时，有时候会报以下错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 这个错误应该还满常见的吧（至少我运行的时候是这样的） 那我们来分析下这个错误，从字面上来理解： Name node is in safe mode 说明Hadoop的NameNode处在安全模式下。 那什么是Hadoop的安全模式
这个作品来源于一个日志解析工具的开发，这个开发过程中遇到的一个痛点，就是日志文件多，日志数据量大，解析耗时长。在这种情况下，寻思一种高效解析数据解析方案。
工欲善其事，必先利其器。Python 作为一种跨平台的编程语言，具有解释性、变异性、交互性和面向对象的特点，可应用于独立的项目开发。今天，我们特邀了公众号“冰河技术”作者、腾讯云 TVP 冰河老师，他将为我们带来基于 Python+Hadoop 手把手教学如何实现单词统计。
发现问题： 在Hadoop中，新建一个目录，报错了，提示mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory
hadoop安全模式 在分布式文件系统启动的时候， 开始的时候会有安全模式， 当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。运行期通过命令也可以进入安全模式。在实践过程中，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。SafeModeException 异常 运行hadoop程序时，有时候会报以下错误： org.apache.hadoop.dfs.SafeModeException: Cannot delete/user/hadoop/input. Name node is in safe mode. 那我们来分析下这个错误，从字面上来理解：“Name node is in safe mode.”
Merkle树是一种哈希树结构，常被用于确保数据完整性和验证大规模数据集中的数据一致性。在本文中，我们将深入讲解Merkle树的原理、构建方法以及在Python中的实现，并提供相应的代码示例。
点九图的本质实际上是在图片的四周各增加了1px的像素，并使用纯黑的线进行标记，其它的与原图没有任何区别。
本章节内容的作用在于：从宏观感受物理层信道编码在整个物理层协议栈中的位置和作用，无需深究每个环节。主体内容从第2章节开始。
mapReduce是一个计算框架，是指实现某项任务或某项工作从开始到结束的计算过程或流的结构
传统的缓存淘汰算法 LRU（Least Recently Used 最近最少访问）以其简单有效性被广泛应用，LRU 的核心思想是淘汰掉未访问时间最长的缓存块，它对所有的数据做了一个简单假设：如果数据块被访问了一次，那么该数据块在接下来的一段时间中还会被再次访问。但是当 LRU 算法遇到下面场景时候存在一定的局限性：
S7-300/400使用的是绝对地址寻址，即使使用符号名称也是为了便于程序的阅读；而S7-1500正好相反，底层只支持符号寻址（早期做了一个测试发现的），即使使用绝对地址寻址也必须带有符号名称，感觉就是为了S7-300/400程序的移植。
我们研发出了 VasSonic 框架，让 H5 页面首屏达到秒开，给用户一个更好的 H5 体验。
一、何谓分库分表？ 把原本存储于一个库的数据分块存储到多个库（主机）上，把原本存储于一个表的数据分块存储到多个表上。 二、为什么要分库分表？ 数据库中的数据量不一定是可控的，在未进行分库分表的情况下，随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作，增删改查的开销也会越来越大。 另外，由于无法进行分布式式部署，而一台服务器的资源（CPU、磁盘、内存、IO等）是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。 三、分库分表的实施策略 分库分表有垂直切分和水平
Fayson在前面的文章中介绍过《什么是HDFS的纠删码》，当时详细介绍了什么是纠删码，纠删码的实现原理，以及一些Benchmark的结果比较。
前言 任何技术优化都依托于业务的发展，随着QQ会员增值业务的重心转移到手Q移动端，对H5页面不仅要求加载更快，还需承载丰富多彩的运营活动，同时由于每个页面都意味着KPI收入，任何可能导致页面功能不可用的发布行为都是不可接受的。 本文为SDCC 2016（杭州站）的分享实录，介绍QQ会员的前端开发团队在手Q的hybrid模式下对H5页面的性能优化、组件化和持续集成方面的实践。 分享实录： 首先简单介绍一下自己，作为一名80后老腊肉，呆过若干创业团队；2012年加入腾讯超级QQ团队，负责前端开发工作；2013年
本章主要是针对AES加密的原理过程进行梳理。不在于细节，了解各个参数和类的功能来帮助我们再加密是更好的选择如何使用加密。
作者简介： 陈志兴，腾讯SNG增值产品部高级工程师，主要负责手Q个性化业务、手Q WebView等项目。喜欢阅读优秀的开源项目，听听音乐，偶尔也会打打竞技类游戏。 本文根据作者在2017GMTC全球移动技术大会的上分享的ppt整理，特别感谢卢景伦（腾讯SNG增值产品部高级工程师）将ppt精华汇总成文，方便大家阅读学习。 说在前面 2017年8月8日，增值产品部Vas团队研发的轻量级高性能Hybrid框架VasSonic通过了公司最终审核，作为腾讯开源组件的一份子分享给大家。从当初立项优化页面加载速度，到不
谈到Hadoop的起源，就不得不提Google的三驾马车：Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文，奠定了风靡全球的大数据的基础！
一分片一区间：数据不会在片之间自动移动来保持分片的数据的均匀性，需要手动拆分分片来移动数据。
索引分裂（Index Block Split），就是索引块的分裂。当一次DML操作修改了索引块上的数据，但是旧有的索引块没有足够的空间去容纳新修改的数据时，将分裂出一个新的索引块，旧有块的部分数据放到新开辟的索引块上去，这个过程就称为索引块的分裂，简称索引分裂。
它是一种基于分片键的逻辑对文档进行分组，分片键的选择对分片是非常重要的，分片键一旦确定，MongoDB 对数据的分片对应用是透明的
最近遇到不少应急都提出一个需求，能不能溯源啊？这个事还真不好干，你把证据，犯案时间都确定的时候，要求翻看监控(日志)对应犯罪嫌疑人时，突然说监控(日志)没有记录。不过现在都要求保留至少6个月的日志，因此这种原因会少了很多，然而我对于Windows中系统日志不了解，在解读时经常摸不着头脑，所以就认真的分析了evtx格式的系统日志。这篇文章可能记录的不是很全面，师傅们多多指教。
Cannot create directory /tmp. Name node is in safe mode
GFS 是谷歌为其业务定制开发的，支持弹性伸缩，为海量数据而生的分布式大文件存储系统。它运行于通用廉价商用服务器集群上，具有自动容错功能，支持大量客户端的并发访问。
本文作者系肖遥（花名），原甲骨文技术支持工程师 ，专注于Oracle RAC领域。个人主页:
开发提出需求，要向一张已经包含100多个字段的表再新增字段，技术上可行，但是这种操作，究竟有何副作用？
图片1.png 服务器数据恢复故障描述 客户的服务器共有8块450GB SAS硬盘，其中7块硬盘组成一个RAID5阵列，1块热备盘。阵列中2块硬盘损坏并离线，导致RAID5阵列瘫痪，进而影响上层LUN无法正常使用。经工程师检测硬盘无物理故障，无坏道，随后北亚工程师将所有磁盘镜像成文件。 数据恢复过程 一、RAID组结构及掉线盘分析 服务器的LUN都是基于RAID组的，所以需要先对底层RAID组的信息作出分析，再依据这些数据重构原始的RAID组。通过分析得知4号盘为hot Spare盘。继续分析Oracl
Python之数据聚合与分组运算 1. 关系型数据库方便对数据进行连接、过滤、转换和聚合。 2. Hadley Wickham创建了用于表示分组运算术语“split-apply-combine”（拆分
Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：
当前计算机系统会根据访问速度，介质成本，介质可靠性等，搭配多种不同的存储介质，有代表性的可用存储介质包括。
水平拆分的概念随着分布式数据库的推广已为大部分人熟知，分库分表、异构索引、小表广播、这些功能几乎是产品功能需求标配。然而有些客户使用分布式数据库后的体验不尽如意。本文尝试从数据的角度总结分布式数据的复制（replication）和分区（partition）技术原理和方案，其中分区也有称为分片（sharding），希望能引起读者一些思考，在分布式数据库选型中能注意这些细节的区别，选择适合业务的数据水平拆分方案。
Alluxio（/əˈlʌksio/）是大数据和机器学习生态系统中的数据访问层。最初作为研究项目「Tachyon」，它是在加州大学伯克利分校的 AMPLab 作为创建者 2013 年的博士论文创建的。Alluxio 于 2014 年开源。
1.协议栈根据上层传递的服务器ip端口确定 要链接的服务器sicket， 填充tcp头部信息（发送接受方ip端口信息）并将syn设置为1,修改的socket状态为正在连接
首先说下 BLOB 的意思， 英文全称是 Binary Large OBjects，可以理解为任意二进制格式的大对象；在 Facebook 的语境下，也就是用户在账户里上传的的图片，视频以及文档等数据，这些数据具有一次创建，多次读取，不会修改，偶尔删除 的特点。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
