文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
    • 您找到你想要的搜索结果了吗？
    是的
    没有找到

    软件测试|Python基础之数据库

    图片储存数据演变史文本文件文本文件是创建在计算机本地目录下的，它可以用来存储我们自己的数据，但是文本文件局限性非常大，包括存储路径、存储内容的格式，都只能在本地计算机中使用，无法跨计算机使用，是第一阶段储存数据的方式软件开发目录规范软件开发目录规范帮助程序员统一了软件开发过程中数据存储的路径，但是任然存在问题，例如不方便实现跨计算机使用，同时储存数据的格式也没有进行统一数据库数据库的出现，解决了程序存储数据路径的统一，同时也规范了数据存储的格式，相比较来说数据库就相当于在线的文档，可以同时很多人进行访问并且

    01

    腾讯云大数据技术介绍-云 HDFS

    大数据虽然是一个比较宽泛的词，但对于我们来说其实可以简单理解为“海量数据的存储与处理”。之所以人们专门大数据这个课题，是因为海量数据的处理和较小量级数据的处理是不一样的，例如我们对一个mysql表中的数据进行查询，如果是100条数据，那对于mysql来说毫无压力，但如果是从十亿条数据里面定位到一条呢？情况就变得复杂了，换个角度想，十亿条数据是否适合存在mysql里也是尚待讨论的。实时上从功能角度的出发，我们完全可以使用以往的一些技术栈去处理这些问题，只不过高并发高可用高实时性这些都别想了。接下来要介绍的这些腾讯大数据组件就是在这一个问题背景下一个个诞生的。

    012

    第二章《数据库的基本操作》

    一、mysql默认安装的4个库： 1.information_schema：保存关于mysql服务器所维护的所有的其他数据库的信息，例如：数据库名、数据库中的表名； 2.mysql：记录数据库用户，权限，关键字等。mysql自己需要使用的控制和管理信息； 3.performance_schema：5.5版本新增一个库，用于手机服务器性能参数，且该库中所有的表的存储引擎均为performance_schema； 4.test：测试库，所有用户再test库里都有root权限（一般不会存储有用的信息再test库里） 二.1.创建数据库:create database databasename; databasename是指数据库名称 2.移动到指定的数据库里:use databasename; 3.删除数据库:drop database databasename; 其它用法 1、使用SHOW语句找出在服务器上当前存在什么数据库： mysql> SHOW DATABASES; 2、创建一个数据库MYSQLDATA mysql> CREATE DATABASE MYSQLDATA; 3、选择你所创建的数据库 mysql> USE MYSQLDATA; (按回车键出现Database changed 时说明操作成功！) 4、查看现在的数据库中存在什么表 mysql> SHOW TABLES; 5、创建一个数据库表 mysql> CREATE TABLE MYTABLE (name VARCHAR(20), sex CHAR(1)); 6、显示表的结构： mysql> DESCRIBE MYTABLE; 7、往表中加入记录 mysql> insert into MYTABLE values (”hyq”,”M”); 8、用文本方式将数据装入数据库表中（例如D:/mysql.txt） mysql> LOAD DATA LOCAL INFILE “D:/mysql.txt” INTO TABLE MYTABLE; 9、导入.sql文件命令（例如D:/mysql.sql） mysql>use database; mysql>source d:/mysql.sql; 三，数据库的存储引擎: 1.什么是存储引擎:数据库的存储引擎是数据库的底层软件组件，数据库管理系统(Dbms)就是依赖存储引擎来对数据表进行创建，查询，更新和删除操作的。不同的存储引擎提供了不同的存储机制，索引技巧和锁定水平等功能。还可以获得某些特定的功能。现在不同的数据库的管理系统都支持多种不同的存储引擎。mysql的核心就是存储引擎。 2.MySQL的存储引擎，包括处理事务安全表的引擎和处理非事务安全表的引擎。在MySQL中不需要所有的表都使用同一种引擎，针对具体的需求每一张表都可以选择不同的存储引擎。 MySQL5.5支持的存储引擎有:InnoDB，MyiSAM，Memory，CVS等。 查看mysql中所有的存储引擎的命令:show engines\G Engine: PERFORMANCE_SCHEMA #引擎名称 Support: YES #mysql是否支持这种引擎 Comment: Performance Schema #mysql对它的评价 Transactions: NO #是否支持事务 XA: NO #是否支持事务的分布式 Savepoints: NO #事务的保存点 1.myisam存储引擎的特点: (1)myisam引擎读取速度快，占用资源少，不支持事务，不支持外键约束，但支持全文索引 （2）读写相互阻塞，也就是说读数据的时候就不能写数据，写数据的时候就不能读数据; (3)myisam引擎只能缓存索引，而不能缓存数据; (4)mysql5.5之前的默认引擎。 使用场景： （1）不需要事务支持的业务，例如银行转账就不适合用myisam引擎； （2）适用于读数据比较多的业务，不适用于读写频繁的业务； （3）并发相对较低的业务(纯读或者纯写的高并发也可以)，数据修改相对较少的业务； （4）硬件资源比较差的机器可以考虑多使用myisam引擎。 2.InnoDB存储引擎的特点： （1）事物类数据表的首选引擎，支持事物安全表，支持行级别锁定和外键，mysql5.5之后的默认引擎； （2）具有提交，回滚和崩溃恢复能力的事物安全存储引擎，能处理巨大的数据量，性能及效率高，完全支持外键完整约束条件； （3）具有非常高的效的缓存特性，能缓存索引也能缓存数据，对硬件要求高， （4）使用InnoDB时，将在mysql数据目录创建一个名为ibdata的10M带大小的自动扩展文件，以及两个名为ib_logfile0和ib_logfile1的5M带大小的日志文件。 使用场景:

    03

    第二章《数据库的基本操作》

    一、mysql默认安装的4个库： 1.information_schema：保存关于mysql服务器所维护的所有的其他数据库的信息，例如：数据库名、数据库中的表名； 2.mysql：记录数据库用户，权限，关键字等。mysql自己需要使用的控制和管理信息； 3.performance_schema：5.5版本新增一个库，用于手机服务器性能参数，且该库中所有的表的存储引擎均为performance_schema； 4.test：测试库，所有用户再test库里都有root权限（一般不会存储有用的信息再test库里） 二.1.创建数据库:create database databasename; databasename是指数据库名称 2.移动到指定的数据库里:use databasename; 3.删除数据库:drop database databasename; 其它用法 1、使用SHOW语句找出在服务器上当前存在什么数据库： mysql> SHOW DATABASES; 2、创建一个数据库MYSQLDATA mysql> CREATE DATABASE MYSQLDATA; 3、选择你所创建的数据库 mysql> USE MYSQLDATA; (按回车键出现Database changed 时说明操作成功！) 4、查看现在的数据库中存在什么表 mysql> SHOW TABLES; 5、创建一个数据库表 mysql> CREATE TABLE MYTABLE (name VARCHAR(20), sex CHAR(1)); 6、显示表的结构： mysql> DESCRIBE MYTABLE; 7、往表中加入记录 mysql> insert into MYTABLE values (”hyq”,”M”); 8、用文本方式将数据装入数据库表中（例如D:/mysql.txt） mysql> LOAD DATA LOCAL INFILE “D:/mysql.txt” INTO TABLE MYTABLE; 9、导入.sql文件命令（例如D:/mysql.sql） mysql>use database; mysql>source d:/mysql.sql; 三，数据库的存储引擎: 1.什么是存储引擎:数据库的存储引擎是数据库的底层软件组件，数据库管理系统(Dbms)就是依赖存储引擎来对数据表进行创建，查询，更新和删除操作的。不同的存储引擎提供了不同的存储机制，索引技巧和锁定水平等功能。还可以获得某些特定的功能。现在不同的数据库的管理系统都支持多种不同的存储引擎。mysql的核心就是存储引擎。 2.MySQL的存储引擎，包括处理事务安全表的引擎和处理非事务安全表的引擎。在MySQL中不需要所有的表都使用同一种引擎，针对具体的需求每一张表都可以选择不同的存储引擎。 MySQL5.5支持的存储引擎有:InnoDB，MyiSAM，Memory，CVS等。 查看mysql中所有的存储引擎的命令:show engines\G Engine: PERFORMANCE_SCHEMA #引擎名称 Support: YES #mysql是否支持这种引擎 Comment: Performance Schema #mysql对它的评价 Transactions: NO #是否支持事务 XA: NO #是否支持事务的分布式 Savepoints: NO #事务的保存点 1.myisam存储引擎的特点: (1)myisam引擎读取速度快，占用资源少，不支持事务，不支持外键约束，但支持全文索引 （2）读写相互阻塞，也就是说读数据的时候就不能写数据，写数据的时候就不能读数据; (3)myisam引擎只能缓存索引，而不能缓存数据; (4)mysql5.5之前的默认引擎。 使用场景： （1）不需要事务支持的业务，例如银行转账就不适合用myisam引擎； （2）适用于读数据比较多的业务，不适用于读写频繁的业务； （3）并发相对较低的业务(纯读或者纯写的高并发也可以)，数据修改相对较少的业务； （4）硬件资源比较差的机器可以考虑多使用myisam引擎。 2.InnoDB存储引擎的特点： （1）事物类数据表的首选引擎，支持事物安全表，支持行级别锁定和外键，mysql5.5之后的默认引擎； （2）具有提交，回滚和崩溃恢复能力的事物安全存储引擎，能处理巨大的数据量，性能及效率高，完全支持外键完整约束条件； （3）具有非常高的效的缓存特性，能缓存索引也能缓存数据，对硬件要求高， （4）使用InnoDB时，将在mysql数据目录创建一个名为ibdata的10M带大小的自动扩展文件，以及两个名为ib_logfile0和ib_logfile1的5M带大小的日志文件。 使用场景:

    01

    HBase 整体介绍

    HBase： NoSQL数据库，基于HDFS的分布式数据库，理论上支持无限横向扩展，         HBase由HMaster与RegionServer组成，HMaster负责协调调度RegionServer进行数据处理，RegionServer负责数据的增删改查操作，RegionServer由多台分布在DataNode的组成，可以有多个。由HMaster负责RegionServer的调度情况，当RegionServer出现异常情况，HMaster进行对MetaRegionServer中的元数据进行更新管理。         当HBase中表的数据不断变大时，表中数据会进行Region分区，分为Region1，Region2...等,RegionServer1负责Region1,RegionServer2负责Region2等；每个RegionServer负责哪个Region的数据区由MetaRegionServer管理，MetaRegionServer运行在多个RegionServer中的任意一个。         HBase数据存储在HDFS上的存储也是按照层级来管理的，不同的库对应不同的目录，库下不同的表亦对应不同的目录，表下不同的Region对应不同的目录，Region下存放这HBase上的数据，HBase的数据是经过特殊处理的，所以直接看不到数据内容         HMaster支持HA高可用，所以在HBase集群对应的HMaster和RegionServer都启动后，在其他的RegonServer上启动HMaster，则该HMaster为StandBy，第一次启动的为Active。         HBase底层接口处理起来会比较吃力，一般处理方式是应用其他工具进行处理，如Flume,Sqoop         MySQL与Hive的区别             MySQL：数据存储会受到限制，可以增删改查数据             Hive：1. 只能进行查询数据，不能进行该数据，可以根据查询结果进行建表存储数据                   2. 基于HDFS，支持分布式存储，可以无限扩容                   3. 基于MapReduce，支持大数据运算         HBase与MySQL的区别                         MySQL：行式存储，适合处理联机事务             HBase：列式存储，适合处理对单列数据(列族归类的数据)进行快缩索引查询         HBase与Hive的区别                     HBase：数据库，数据分布式存储在HDFS上的DataNode节点上，根据对数据进行增删改查等。             Hive:数据仓库，数据存储在HDFS上，与DataNodata 关系不大，管理历史数据，数据量会非常庞大，每天都会进来大量数据，不能进行更新删除操作，         HBase概念             HMaster: 协调管理RegionServer服务状态及元数据管理             RegionServer: 负责对数据表的增删改差操作，主要负责单个Region的数据管理                 RegionData:数据块             MetaRegionServer: 对RegionSever上对应的Region数据块进行索引管理             database 数据库             table: 数据表,定义表时需要指定列族，也可以再表建立后进行列族的管理             RowKey：行键,表示一行数据，一行数据中包含列族定义的东西，             ColumnFamily: 列族，对业务进行分类后，可以根据业务对数据进行分类，把业务类似的一类数据分为一个列族，不同的业务可以分为不同的列族。分列族的主要目的是方便后期对数据的高速索引.             CELL: 数据单元,保存单个KV字段.         运行逻辑：             HMaster协调管理RegionServe，RegionServer主要负责处理Region数据块的处理，MetaRegionServer管理RegionServer对应Region数据的元数据信息。RegionServer服务异常时，HMaster进行元数据迁移，保证对Region数据的管理由对应的RegionServer来管理。             MetaRegionServer管理的元数据信息保存在HDFS上。             Client进行数据处

    01

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    更多标签

    活动推荐

      运营活动

      活动名称
      广告关闭

      腾讯云开发者

      扫码关注腾讯云开发者

      扫码关注腾讯云开发者

      领取腾讯云代金券

      热门产品

      热门推荐

      更多推荐

      Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

      深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

      腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

      领券