大家在大数据开发的学习中，肯定会遇到各种各样的数据库，比如MySQL，但是它是全能的吗？当然不是。所以才会出现各种各样的数据库，以适用于不同的场景，今天介绍的MongoDB就是如此。
Mongodb是一个高性能、开源、无模式的文档型数据库，使用C++开发，是当前Nosql数据库产品中最热门的一种。这 里说到nosql数据库，就简单描述一下什么是nosql。nosql（not only sql非关系型数据库）的主要特点是非关系型的、分布式、开源的、水平扩展的。nosql的原始目的是为了大规模web应用，通常应用如模式自由、支持简单复制、简单的API、最终的一致性和大容量数据等。
之前我们讲过架构设计的一些原则，和架构设计的方法论，今天我们谈谈高性能数据库集群的设计与应用。
HDFS是主从架构（Master/Slave），当然这也是大数据产品最常见的架构。主节点为NameNode，从节点为DataNode。其中DataNode用于存储数据，存储的数据会被拆分成Block块（默认按照128M进行切分），然后均匀的存放到各个DataNode节点中，为了保证数据安全性，这些Block块会进行多副本的存储，备份到不同的节点。而NameNode则负责管理整个集群，并且存储数据的元数据信息（记录数据被拆分为哪几块，分别存储到了哪个DataNode中）。DataNode会通过心跳机制，与NameNode进行通信（默认3秒），汇报健康状况和存储的Block数据信息，如果NameNode超过一定时间没有收到DataNode发送的心跳信息，则认为DataNode宕机，会启动容灾机制。
PHP是一种动态网站开发的脚本语言，动态语言特点是交互性，会有数据的传递，而PHP作为“中间人”，需要进行数据的传递，传递的前提就是PHP能自己存储数据（临时存储）
技术真的是日新月异，Web 网站已经脱离之前的静态网站的体系，转而使用动态语言搭建的动态网站。这也衍生出一个问题：该如何存储数据了？数据库就应运而生，它的作用是提供存储数据的容器。方便 web 网站进行存储、查询、更新等。
按照数据表中某个字段的某种规则，将记录分散到多个库中，每个库该表中存储一部分记录，所有库中该表的记录并集，为该表所有记录的数据全集。
最近研究文件系统，把近期比较火的JuiceFS代码翻出来看了一下，研究为啥其性能要比CephFS要好。
前段时间去面试了一下阅文集团的技术岗，也有好几个朋友找我要面试题，今天就分享一下 阅文集团起点中文网是怎么面试的，我也说不清楚，我好像不属于正规流程，自我介绍什么的我都没有说过 ? 一面是电话，二面是
Sybase在2004年左右就推出了列存储的Sybase IQ数据库系统,主要用于在线分析、数据挖掘等查询密集型应用。列存储，缩写为DSM，相对于NSM(N-ary storage model)，其主要区别在于：
数组是一种常用的数据结构，可用来存储一组相同类型的数据，你可以将一个数组变量视为一个迷你的电子表格，通过引用数组中的位置来存储或者获取数据。
你准备好面试了吗？呀，需要Hadoop面试题知识！不要慌！这里有一些可能会问到的问题以及你应该给出的答案。
学生管理系统2.0基本功能 基本功能 添加学生功能 展示学生列表功能 删除学生功能 查看学生详情 更新学生数据 实现思路 注册功能思路： 表单设计，点击提交按钮向服务器提交表单数据 在后台获取表单提交的数据，保存到数据库中 先获取表单的标签的数据 保存上传的图片（并保存图片存储的路径） 将表单的数据和图片的路径一起保存到数据库中 保存完成，跳转到列表页，查看新添加的数据 展示功能思路： 先从数据库中获取数据（二维数组arr） 遍历二维数组，将数组中数据渲染到页面中 删除功能思路： 获取要删除数据的id
Redis单点故障，可以通过主从复制replication，和自动故障转移sentinel哨兵机制。
大数据(Big Data)，指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
Redis大key问题是指在Redis中出现了一个或多个非常大的key，这些key的大小超过了Redis所能处理的最大值，从而导致Redis性能下降甚至宕机的现象。通常情况下，Redis的key大小应该尽量保持在较小的范围内，因为Redis是一个基于内存的数据结构存储系统，大key会占用大量内存资源，导致Redis的性能受到严重影响。
我们都知道,当数据量大了的时候,我们都会选择使用多台服务器共存数据,通过 取模方式进行随机分配服务器存储.
JuiceFS 是一款面向云原生设计的高性能共享文件系统，在 Apache 2.0 开源协议下发布。提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。
在这篇文章中，我们将深入探讨Redis支持的数据类型以及如何解决大Key问题。通过了解Redis的数据类型以及相应的使用场景，我们可以更好地利用Redis的特性来满足各种数据存储需求。
当MySQL单表记录数过大时，数据库的CRUD性能会明显下降，一些常见的优化措施如下：
很多网站都喜欢在页面中加个一言，不过一般都是调用的第三方api。其实，使用万能的php能通过短短的几行代码就实现该功能。
一、监控系统的简单介绍 （1）cacti：存储数据能力强，报警性能差 （2）nagios：报警性能差，存储数据仅有简单的一段可以判断是否在合理范围内的数据长度，储存在内存中。比如，连续采样数据存储，有连续三次不在合理范围内的数据就报警 （3）zabbix：结合上面两种工具的优点，又可以存储数据，又可以报警 二、zabbix特性 （1）数据采样：通过snmp、ssh、telnet、agent、ipmi、jmx等通道采集被监控主机的数据。可以自定义检测机制和自定义时间间隔 （2）实时绘图：展示，读取数据绘图，
自身“捣鼓”架构多年，也时常与人交流架构的魅力。今天就互联网架构演进聊聊我的看法。 在我看来，互联网架构经历了单体架构、水平分层架构、面向服务架构、微服务架构以及服务网格架构等几个不同阶段，每个架构有什么特点？这些架构间有什么不同？为什么要演进？让我们一探究竟！ 单体架构(Monoliths Architecture) 单体架构是指业务功能的实现全部在一个进程（process）内完成。二手交易平台标配的商品推荐功能，单体架构接受APP客户端发送的请求、从数据库获取推荐商品、对推荐的商品列表过滤／排序等业务处
在上篇文章我们讨论了数据模型，今天试着讨论更基础的数据存储和搜索。数据存储根据开发者使用，可以分为一般的事务处理和数据分析，因为这两者面临的情况不一样。事务处理聚焦于快速的存储和搜索少量的数据，但是数据分析需要读取大量的数据去进行聚合，而不怎么考虑读取花费的时间。后者一般称为数据仓库。 首先我们先看看传统数据库和大部分NoSQL的数据存储引擎。这个实际上分为两个流派，一个是基于日志结构，主要使用了LSM树，另一个是基于OS的页的结构，就是所谓的B树。这么说可能比较难懂。让我们想象一下，假设你有一个excel，里面存储了一条数据a,b，如果我们想查询a，我们可以遍历excel找到满足以a开头的数据a,b。这就是一个简单的数据库，存储数据时，只要简单的添加在下一列。查找时进行遍历，找到符合条件的。让我们想想这会有什么问题。对于数据存储，我们只需要简单的添加数据，对于磁盘这样极有效率，当然实际上的数据库还要考虑并行处理、磁盘存储空间不足等等情况。存储数据的file，就是所谓的log。另一方面，对于搜索数据，这个效率就相当慢了，因为每次搜索数据都需要遍历整个文件，时间复杂度是线性的增长，这时候我们就需要索引了。显然索引对于整个数据存储文件而言，是额外的存储结构，维护索引结构会牺牲write的效率。 对于索引结构，首先想到的是key-value结构。例如对于数据a,b c,f,d这种数据，我们可以用一个索引a,0 b,3这种hash map的形式0和3代表着文件的offset，我们查找数据的时候，先去hash map找到对应的key值，获得offset，我们就能获得key值对应的value。这听起来很简单，然而这就是Bitcask的实现方式。这个索引结构是完全存储在内存当中，如果超出内存的话，就会放在磁盘上。如果数据一直在增长，磁盘空间肯定会有不足的那一刻，解决办法就是将数据拆分为固定大小的segment，以及在合适的时候，合并segment，根据时间戳，保留最新的value值，重新写入新的segment，对旧的进行删除。对于实际的工程，我们还需要考虑 1.文件存储的格式，一般而言应该是以bytes存储 2.删除数据时，应该加上一个标签，比如tombstone，在合并segment时，对数据进行删除 3.数据库崩溃重新恢复，Bitcask使用的是快照的方式在磁盘保存索引结构 4.并发的写入数据，这个需要检查点来处理数据写入时数据库崩溃 5.并发控制，因为文件的immutable，所以并发控制相当简单。 但是这个依然存在问题，让我们想想，那就是hash table必须存储在内存中，这个对于大数据时很不友好，即使你是存储在磁盘上。并且对于范围查找很不友好，因为你需要遍历所有key去查找一个范围内的一个key。 为了解决范围查找，人们又提出了在创建索引时，我们可以按照key值进行排序，这样的存储方式叫做SSTable。这样有下面的几个好处，合并segment变得更有效率了，因为你只需要读取开始的key和结束的key就可以了。在保存索引时，也不需要将所有的key存储在内存里，只需要保存每个segment的开始key和结束key。读取数据时，也不需要遍历所有的key值了。那么对于维护索引呢？我们在写入数据时，会先写入memtable（存储在内存的例如红黑树之类的数据结构）。当memtable超过某个阈值时，会将memtable写入到磁盘的segment中。在读取数据时，我们会首先在memtable中查找数据，然后再根据时间逐步读取segment。每隔一段时间，后台进程便会合并segment，清理垃圾数据。这样处理的唯一问题，就是memtable遇到服务器崩溃。我们可以牺牲一部分write的效率，生成一个独立的log去立马保存写入的数据，这个log的唯一用途就是防止memtable的丢失。 上面的就是现在HBase、LevelDB、Lucene这些使用的LSM树结构。对于其的优化，目前可以使用布隆过滤器、size-tiered等方式去优化读取和合并segment。除了LSM树，目前还有一个广泛使用的索引，那就是B树。 B树主要是利用了操作系统的页结构，将数据拆分成一个固定尺寸的block块，使用存储address和location，类似于指针的方式存储数据。具体细节不多说，网上的文章一大堆。我们需要考虑的是负载因子和二叉树的平衡。对于每次的写入和修改数据，我们都需要找到key值在系统里对应的address去修改数据，重新写入，同样为了防止数据崩溃，一般的数据库会使用预写日志(WAL)去保存每一次数据的修改和写入。 除了这些索引，还有所谓的二级索引。这个类似于倒排索引。不仅如此，还有基于列的存储方式，这个大多是为了数据仓库服务的。
当 MySQL 单表记录数过大时，数据库的 CRUD 性能会明显下降，一些常见的优化措施如下：
在Redis官网中,是这样介绍Redis的: The open source, in-memory data store used by millions of developers as a database, cache, streaming engine, and message broker. 翻译为: 被数百万开发人员用作数据库、缓存、流媒体引擎和消息代理的开源内存数据存储
2.内存和硬盘： 内存：计算机硬件组成部分之一，它是一个容器，用来存储数据；处理数据速度快， 存储数据量小；断电死机数据会丢失，短暂性存储数据 硬盘：计算机硬件组成部分之一，它是一个容器，用来存储数据；处理数据速度慢， 存储数据量大，断电死机数据不会丢失，数据的持久存储 3.字节和字符 字节：计算机的存储数据的单位，底层唯一能够识别并且运算的数据 字符：人类将字节封装为另一种能直接识别的数据单位，底层还是字节 4.如何区分字节文件和字符文件 如果使用文本编辑器打开能看得懂(不会乱码)那它就是一个字符文件， 反之，它是一个字节文件 提问：常见的字节文件和字符文件有哪些？(枚举出一些) 字节文件：图片文件(.jpg、.png...)、视频文件(.avi、.mp4、.rmb...)、音频文件(.mp3...) 字符文件：.txt、.py、.java、.js、.html、.css、.php... 思考：.doc结尾的文件是字节还是字符文件？ 是字节文件，因为.doc结尾的文件中既可以包含字符内容，也可以包含图片、颜色设置...操作 思考：计算机数据层面，一切皆字节，对不对？ 对的；因为计算机底层唯一能够识别和运算的都是字节数据... 5.字符编码(字符集) ascii码表：U.S.A设计出来的，范围非常小；不包含很多国家的文字，英文字符占用内存1个字节 utf-8码表：现今比较通用的一张编码表，包含了世界上所有的文字内容，范围：0~65535之间， 1个汉字占用内存3个字节，1个英文字符占用内存1个字节 gbk码表：gbk属于gb2312的扩充版，兼容了gb2312中的所有字符，加入更多的一些汉字内容, 1个汉字占用内存2个字节，1个英文字符占用内存1个字节， 在我们中国环境下，大多数情况默认的都是gbk作为编码 6.编码和解码： 编码：让数据从看的懂到看不懂，就是编码 解码：让数据从看不懂到看得懂，就是解码 【注意】 编码和解码如果不一致会怎么样？ 1).会出现乱码现象 2).会报错 不管是上述的1还是2都是不理想的结果，我们都需要避免 字符串的两个函数引入： encode(encoding,errors)：对字符串数据进行编码操作，得到一个bytes类型的数据 decode(encoding,errors)：对字符串数据进行解码操作，得到一个str类型的数据 演示eccode()和decode()函数的使用：
我发在安全脉搏的一篇文章，废话有点多见谅：http://www.secpulse.com/archives/5357.html
数据库基础知识 1.什么是数据库。 MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。 我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统
这是前端面试中必然会问到的问题 前端开发多年来一直在不断改进。从简单的静态页面到现在复杂的单页面应用程序，我们的工具变得越来越强大。现在，三大前端框架统治着前端开发，那么你知道这三个框架的区别吗？为什么一直保持着三足鼎立的局面，而不是某种框架来统一其他人？让我们在本文中讨论这些问题。 前端开发的演变 PHP && JSP 早些年，网页的动态内容是在服务器端渲染的，主要使用PHP、JSP等技术。 此时，服务器通过模板引擎填充数据，然后生成HTML，并将HTML返回给浏览器进行渲染。 <!DOCTYPE
毫不夸张的说咱们后端工程师，无论在哪家公司，呆在哪个团队，做哪个系统，遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论，能让大家快速、准确的去选择出合适的优化方案，我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。
数据库基础知识 1.什么是数据库。 MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库，每个数据库都有一个或多个不同的API用于创建，访问，管理，搜索和复制所保存的数据。 我们也可以将数据存储在文件中，但是在文件中读写数据速度相对较慢。所以，现在我们使用关系型数据库管理系统（RDB
PHP是一种流行的服务器端脚本语言，广泛应用于Web开发中。变量是PHP语言中最基本的元素之一，它用于存储和操作数据。
PHP数组的底层实现是分散列表，也称为hashTable，分散列表是基于键(Key)直接访问存储位置的数据结构，其key-value之间存在映射功能，key可以根据映射功能直接索引对应的value值，不需要通过关键词进行比较，理想的情况下，分散列表的检索效率非常高，时间复杂性为O(1)。
mapReduce是一个计算框架，是指实现某项任务或某项工作从开始到结束的计算过程或流的结构
文章目录 1、XML概述 1.1、什么是XML 1.2、XML和HTML的区别 2、XML基本语法 2.1、XML语法规则 2.2、书写注意点 2.3、属性 2.4、CDATA 3、PHP解析XML原理 4、XPath语言 1、XML概述 1.1、什么是XML XML即可扩展性标记语言 XML的目的是传输和存储数据，不是展示数据 XML的标签必须自定义，没有官方标签，但是自定义标签要遵循一定规则。 XML是W3C推举的数据传输格式。 很多配置文件都是XML写的。 1.2、XML和HTML的区别 HTM
开发必须会数据库，因为现在所有的软件都需要存储数据。上网就是浏览数据，数据都是存在数据库里面。
在上一篇文章《Redis列表实现原理之ziplist结构》，我们分析了ziplist结构如何使用一块完整的内存存储列表数据。
数据库专题（一） ——数据库优化 （原创内容，转载请注明来源，谢谢） 一、概述 数据库的优化通常分为三个方面：数据库DML、DQL的优化（即增删改查等SQL语句优化）；数据库设计优化（如索引设置、索引类型、表引擎、冗余字段、主键外键等）；数据库服务器和配置优化（如主从分离、读写分离等）。 根据不同的业务场景，需要进行不同的优化措施。 二、数据库语句优化 程序对数据库的操作，绝大部分来自查询，因此查询的优化至关重要，而大部分情况下，查询的优化在于索引命中率。网络上有很多查询优化的例子，在此主要说几点。
但之后仍有问题待解决： 比如朋友圈关系的数据量达到千亿，即使分成1024个库表，单表数据量也达到亿级，且关系数据量还在极速增加，即使你分成再多库表，数据量也会很快到达瓶颈。 传统DB难以彻底解决该问题，因为扩展性很弱。这时，就可以利用NoSQL，天生分布式，能提供优秀的读写性能，补充了传统关系型数据库短板。那么它是如何做到的呢？ NoSQL，不同于传统关系型数据库的其他数据库系统的统称，不使用SQL作为查询语言，提供优秀的横向扩展能力和读写性能，非常契合互联网项目高并发大数据的特点。 Redis、LevelDB这样的KV存储，相比于传统DB，有极高读写性能，对性能有比较高的要求的场景都会使用。
最近关注了一些缓存框架的特性和实现，包括 OSCache、JCS、Ehcache、Memcached 等等，公司的两个缓存框架，以及一个标准 JSR 107（JCache），发现一些诸多类同的方面。如果你不够熟悉以上，不妨先看看这两篇文章：《OSCache框架源码解析》和《Ehcache详细解读》，再看下面的内容也许会有更多想法。之后再思考，如果要自己去实现一套缓存框架，需要考虑哪些东西？
MongoDB (名称来自”humongous”) 是一个可扩展的、高性能、开源、模式自由、面向文档的数据库，集文档数据库、键值对存储和关系型数据库的优点于一身。
数据结构？是一个又爱又恨的存在，不喜欢它的人认为枯燥，乏味，头大。但是喜欢它的人就恰恰相反，小梦也是属于不喜欢之列。如果你把编程看做是一项练就功夫的事情，那么数据结构就是内功，相信很多小伙伴内心多多少少都有一个武侠梦
需求背景：有个 调用统计日志存储和统计需求 ，要求存储到mysql中；存储数据高峰能达到日均千万，瓶颈在于 直接入库并发太高，可能会把mysql干垮 。
接下来我们来谈一下特殊的数据类型， 问题：数组能装任何类型的数据吗？ 答案：可以的，为什么可以，因为他不定义数组的类型，所以php是根据填写的键值来判断哪一个数据类型的
String（字符串）, Integer（整型）, Float（浮点型）, Boolean（布尔型）, Array（数组）, Object（对象）, NULL（空值）。
使用索引时，应尽量避免全表扫描，首先应考虑在 where 及 order by ，group by 涉及的列上建立索引。
领取专属 10元无门槛券
手把手带您无忧上云
