专栏首页python3python第十一课

python第十一课

一、Cluster概念 1、系统扩展方式: Scale UP:向上扩展,增强 Scale Out:向外扩展,增加设备,调度分配问题,Cluster 2、Cluster:集群,为解决某个特定问题将多台计算机组合起来形成的单个系统 3、Linux Cluster类型 LB:Load Balacing,负载均衡 HA:High Availability,高可用,SPOF(single Point Of failure) MTBF:Mean Time Between Failure 平均无故障时间 MTTR:Mean Time To Restoration( repair)平均恢复前时间 A=MTBF/(MTBF+MTTR) (0,1):99%, 99.5%, 99.9%, 99.99%, 99.999%, 99.9999% HPC:High-performance computing,高性能 www.top500.org 4、分布式系统: 分布式存储:云盘 分布式计算:hadoop,Spark 二、Cluster分类 基于工作的协议层次划分: 传输层(通用):DPORT LVS: nginx:stream haproxy:mode tcp 应用层(专用):针对特定协议,自定义的请求模型分类 proxy server: http:nginx, httpd, haproxy(mode http), ... fastcgi:nginx, httpd, ... mysql:mysql-proxy, ... 三、Cluster相关 会话保持:负载均衡 (1) session sticky:同一用户调度固定服务器 Source IP:LVS sh算法(对某一特定服务而言) Cookie (2) session replication:每台服务器拥有全部session session multicast cluster (3) session server:专门的session服务器 Memcached,Redis HA集群实现方案 keepalived:vrrp协议 ais:应用接口规范 heartbeat cman+rgmanager(RHCS) coresync_pacemaker 四:LVS介绍 LVS:Linux Virtual Server,负载调度器,集成内核 章文嵩 阿里官网:http://www.linuxvirtualserver.org/ VS: Virtual Server,负责调度 RS: Real Server,负责真正提供服务 L4:四层路由器或交换机 工作原理:VS根据请求报文的目标IP和目标协议及端口将其调度转发至某RS,根据调度算法来挑选RS iptables/netfilter: iptables:用户空间的管理工具 netfilter:内核空间上的框架 流入:PREROUTING --> INPUT 流出:OUTPUT --> POSTROUTING 转发:PREROUTING --> FORWARD --> POSTROUTING DNAT:目标地址转换; PREROUTING

五、LVS概念 lvs集群类型中的术语: VS:Virtual Server,Director Server(DS) Dispatcher(调度器),Load Balancer RS:Real Server(lvs), upstream server(nginx) backend server(haproxy) CIP:Client IP VIP: Virtual serve IP VS外网的IP DIP: Director IP VS内网的IP RIP: Real server IP 访问流程:CIP <--> VIP == DIP <--> RIP 六、LVS集群的类型 lvs: ipvsadm/ipvs ipvsadm:用户空间的命令行工具,规则管理器用于管理集群服务及RealServer ipvs:工作于内核空间netfilter的INPUT钩子上的框架 lvs集群的类型: lvs-nat:修改请求报文的目标IP,多目标IP的DNAT lvs-dr:操纵封装新的MAC地址 lvs-tun:在原请求IP报文之外新加一个IP首部 lvs-fullnat:修改请求报文的源和目标IP

lvs-nat
    本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RTP和PORT实现转发
    (1)RIP和DIP必须在同一个IP网络,且应该使用私网地址,RS的网关要指向DIP
    (2)请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈
    (3)支持端口映射,可修改请求报文的目标PORT
    (4)VS必须是Linux系统,RS可以是任意OS系统
NAT模式IP包调度过程

2、LVS-DR模式
    LVS-DR:Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是某挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变
Director和各RS都配置有VIP  
    (1) 确保前端路由器将目标IP为VIP的请求报文发往Director
        在前端网关做静态绑定VIP和Director的MAC地址  
        在RS上使用arptables工具
            arptables -A IN -d $VIP -j DROP
            arptables -A OUT -s $VIP -j mangle --mangle-ip-s $RIP
        在RS上修改内核参数以限制arp通告及应答级别
            arp_announce
            arp_ignore
    (2) RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;RIP的网关不能指向DIP,以确保响应报文不会经由Director
    (3) RS和Director要在同一个物理网络
    (4) 请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client
    (5) 不支持端口映射(端口不能修败)
    (6) RS可使用大多数OS系统
3、LVS-TUN模式
    lvs-tun:
        转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP)
        (1) DIP, VIP, RIP都应该是公网地址
        (2) RS的网关不能,也不可能指向DIP
        (3) 请求报文要经由Director,但响应不能经由Director
        (4) 不支持端口映射
        (5) RS的OS须支持隧道功能

4、lvs-fullnat模式
        lvs-fullnat:通过同时修改请求报文的源IP地址和目标IP地址进行转发
            CIP --> DIP
            VIP --> RIP
        (1) VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,RIP的网关一般不会指向DIP
        (2) RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还要将其发往Client
    (3) 请求和响应报文都经由Director
    (4) 支持端口映射;
    注意:此类型kernel默认不支持

Nginx

注意防火墙开关 iptables -F 一次关闭 iptables 一、Nginx配置 1、etc目录下的yum.repos.d,touch一个base.repo文件 2、vim base.repo: name=CentOS baseurl=file:///misc/cd gpgcheck=0 [epel] name=EPEL #baseurl=http://mirrors.aliyun.com/epel/$releaserver/$basearch 阿里云 baseurl=http://172.16.0.1/fedora-epel/6/x86_64/ # 内网配置 gpgcheck=0 enabled=1 # 打开状态 3、yum repolist一下 4、yum install nginx 安装 5、rpm -qi nginx 看下nginx介绍,pl看 6、ss -ntl看下http80有没有打开,不能和apache冲突 7、systemctl start nginx(centos7)或者nginx启动,但是不能混用 8、systemctl stop nginx(centos7)或者nginx -s stop关闭 9、输入之后,就可以看到网站了 10、ps aux观看进程,可以看到nginx 的worker进程或者pstree -p|grep nginx 11、nginx模块: 核心模块:core module 标准模块: HTTP 模块 外部网站,外部服务器 核心模块 格外指令的功能 mail模块 邮件功能 stream模块 tcp协议的转发 第三方模块 12、Nginx:默认为启动nginx -h 查看帮助选项 -V 查看版本和配置选项 -t 测试nginx语法错误 -c filename 指定配置文件(default: /etc/nginx/nginx.conf) -s signal 发送信号给master进程,signal可为:stop, quit,reopen, reload 示例:-s stop 停止nginx -s reload 加载配置文件 -g directives 在命令行中指明全局指令 13、nginx配置 1、配置文件的组成部分: 主配置文件:nginx.conf 子配置文件 include conf.d/*.conf 2、fastcgi, uwsgi,scgi等协议相关的配置文件 3、mime.types:支持的mime类型 4、主配置文件的配置指令: 1、directive value [value2 ...]; 2、注意: (1) 指令必须以分号结尾 (2) 支持使用配置变量 内建变量:由Nginx模块引入,可直接引用 自定义变量:由用户使用set命令定义 set variable_name value; 引用变量:$variable_name

二、Nginx配置文件 1、etc下的nginx下的nginx.conf文件 主配置文件结构:四部 main block:主配置段,即全局配置段,对http,mail都有效 event { ... } 事件驱动相关的配置 http { ... } http/https 协议相关配置段 mail { ... } mail 协议相关配置段 stream { ... } stream 服务器相关配置段 2、修改配置 修改server,root行是访问路径 3、其他服务器上访问nginx服务,进入/etc/nginx/conf.d/ 先在nginx服务器上进入etc/nginx/conf.d然后写下面的配置 vim vhosts.conf server { listen 80: server_name www.a.com root /app/web1/;

    }
    一个网站的基本配置

在/app中,创建web1,web2,web3的dir,echo三个网站进去
echo www.a.com > web1/index.html
echo www.b.com > web2/index.html
echo www.c.com > web3/index.html

echo hello > /usr/share/nginx/html/index.html  这个是默认的,访问这个服务nginx结果
去另一个服务器,映射一下/etc/hosts,关联起来
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.157.138 www.a.com www.b.com www.c.com
这样就把nginx的ip地址绑定在了三个地址上

在另一个服务器 curl www.a.com

MySQL 关系----对象

一、数据库系统的架构 单机架构 大型主机/终端架构 主从式架构(C/S)专门的服务器,客户端,(qq客户端,服务器在腾讯) 分布式架构 二、关系型数据库 1、关系:二维表,且满足如下性质: 表中行、列次序并不重要 2、行row:表中的每一行,又称为一条记录 3、列column:表中的每一列,称为属性,字段 4、主键(Primary key):用于唯一确定一个记录的字段 5、域domain:属性的取值范围,如,性别只能取男女两个值

三、关系数据库 RDBMS MySQL:MySQL,MariaDB,Percona Server PostgreSQL:pgsql,现在EnterpriseDB Pracle MSSQL DB2 事务transaction:多个操作被当作一个整体对待 ACID: A:原子性(如果是5个步骤,故障后rollback回滚,重新开始,undo,redo) C:一致性 I:隔离性(类wiki操作,同一page多操作,中间状态不被看到,脏数据) D:持久性

四、联系类型 1、一对一关系(不一定在两个表一样的位置,但1:1) 2、一对多关系(1:n)员工表和部门表 3、多对多关系(m:n)学员表(主键表)课程表,避免信息重复,再开一张表(外建表),用ID对应关系,这张表和另两张分别构成一对多的关系 主键表,字段的值,必须唯一,不允许为空(学员姓名)只能有一个主键 唯一键,必须为一,允许为空(学员手机号)可以有多个唯一键,×××,手机号 复合主键,都叫张伟,一个上海,一个北京,那么name+city就是复合主键(pk) 五、数据三要素 1、数据结构 2、数据操作:增删改查 3、约束条件:实体(行)完整、域(列)完整,参考完整性

六、简易数据规划流程 1、收集数据,得到字段 必要且完整的数据项、转换成数据表字段 2、字段分类,归入表,建立表关联 关联:表和表间的关系 分割数据表并建立关联的有点 节省空间 减少输入错误(年龄限制,性别限制) 方便数据修改 3、规范化 六种范式,第一范式(1NF)巴德斯科范式() 1NF:无重复列,数据不可分割,不能重复 2NF:属性完全依赖于主键,满足第一范式,每行可以被唯一区分

    3、第三范式:属性不依赖于其他非主属性,满足第三必须先满足第二
    上图前面加一个主键员工ID,city和name就不是复合主键,这时候如果还有citycode,就违反了,还是在外面加一个city和code的表

一般满足这三个就可以了 但是如果为了性能,放一张表会违反第二第三,也可以

七、基本概念 1、索引:将表中一个或多个字段中的数据复制一份另存,拿出来按次序排序后,找需要的数据,避免全表扫描 2、关系运算 选择:挑选出符合条件的行 投影:挑选出需要的字段 连接:表间字段的关联

八、数据模型

九、安装MySQL yum info mariadb Centos7 yum info mysql Centos6

cd /etc/yum/yum.repos.d yum list mariadb-server yum install mariadb-server

centos安装5.58 224.4M那个文件 十、基础命令 装完查看一下rpm -ql mariadb-server sysytemctl start mariadb systemctl enable mariadb开机启动mariadb ss-ntl----看启动 输入mysql默认连接 show databases;看有哪些数据库 select user()看是谁进入访问的,默认下的管理员root没有账号密码 use test就会进入test数据库,不再是None show tables 查看有哪些表 use mysql 系统库 show tables #drop database test;可以删除这个库 exit退出/quit mysql -uroot -h192.168.8.10通过root去进入谁的数据库,默认不允许 mysql -uxxx 默认随便输入账号都能进去,匿名账号,权限不大 mysql的表里,有一个user desc user 可以查看表user select * host,user,password from user查询这三个字段来显示

输入mysql_查看 mysql_secure_installation 设置root口令,新口令,匿名账户是否删除,禁止root远程登录与否,是否删除test测试数据库,是否加载特权表,就是重新加载生效

再次进入mysql,就进不去了 mysql -uroot -p 输入密码 select * host,user,password from mysql.user

十一、下午3点前十五分钟课程,看下,补全 vim /etc/my.cnf 这里面有一个datadir,是数据库表目录,可以修改位置 但是改完要改权限,然后重启 cd

忘记密码,修改 update user set password=password('centos') where user='root' 修改密码 ;

十二、创建操作 create database mydb创建db

#ps aux/pstree

十三、创建表及操作 先use进入一个数据库 create table students (sid tinyint unsigned,name char(30),sex enum('m','f'))括号内表示字段,数据类型(课件47页) 字符串:char(n)固定长度,n自己写,不够的补,速度快,形式一样 varchar(n)可变长度,超的不要,不够的也不补,省空间 dese students 去看一下结构

加入主键 create table students (sid tinyint unsigned primary key,name char(30),sex enum('m','f'))

1、表内查询 show tables 1、查看内容 select * from students; 2、加入内容 insert students (sid,name,sex ) value (1,'Jim','m' );按顺序,可以不用写(sid,name,sex ) 再查看内容 2、部分赋值 insert students (sid,name ) value (2,'tom'); 3、修改内容 update students set sex='f';不写条件,全部修改 update students set sex='f' name='lili' where name='tom'; 4、删除内容 delete from students where sid=3;不加条件,全部删除 truncate table students 删除内容,没有日志,不能还原,跑路了,老铁

十四、索引 show table status like 'students'\G; desc students create index Idx_Name on students (Name) 再desc一下 select from students explain select from students; explain select from students where id=3\G;这样就用到了主键进行搜索,效率高 explain select from students where name='tom'\G;加了索引就1次查完,不然全表 十五、DQL语句 select * from students where gender is null,查询某个字段值是否为空,空白未见是空 insert students(name,age,gender) value ('tom',1,'F');不符合定义的gender 这样就能找到null

十六、SELECT select name,age from students where gender='M'; 查找男生 select avg(age) from students 查询平均年龄 select gender,avg(age) from students group by gender; 查询男女各自平均,group用了之后,select后,只能用by的字段和汇总的内容 select gender,max(age) from students group by gender; 按男女查询最大年龄 select max(age) from students group by gender having gender='M'; 查找M的最大年龄 select from students order by age; 查询年龄desc倒序,asc 正序,写在age后面 select from students where calssid=1 limit 2; 查询前两个,如果是1,2,就是跳过第一个,显示前两个

十七、多表查询 1、交叉查询:笛卡尔乘积 字段叠加3+4

    select * from coc cross join teachers     (coc和teachers表交叉)
2、内连接(交集)
    select st.name,sc.score from students as st,scores as sc where st.stuid=sc.stuid
    select st.name,sc.score from students as st inner join scores as sc on st.stuid=sc.stuid
    这俩都是取stuid一样的交集
3、外连接(左、右)
    select st.name,sc.score from students as st left outer  join scores as sc on st.stuid=sc.stuid   左

4、多表查询
5、自连接
    select s1.name,s2.name from students as s1 inner join students as s2 on s1.teacher=s2.stuid

十八、用户账号 1、创建用户带授权一般一起 grant all/select,delete on hellodb. to wang@'192.168.8.%' identified by 'centos' %是任意,all是全部权限,后面是查询删除,.是所有表

    mysql -uwang -pcentos -h192.168.8.100 

十九、MariaDB日志 1、show processlist 可以列出所有进程,总是存在的,说明比较慢或大量用 2、show variables like ‘%slow%’查慢连接 【set global log_slow_queries=ON】 3、

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 3.Nginx配置进阶(三)

    ==============================================================================

    py3study
  • CentOS + Python3.6+

    用的系统是CentOS 6.4,其上python版本是2.6,而Django支持的版本是2.7+,又考虑到网页语言用UTF-8,而python3+默认字符已变为...

    py3study
  • promethus监控nginx

    promethues监控nginx可选两个exporter,通过nginx_exporter主要是获取nginx-status中的内建的指标,nginx自身提供...

    py3study
  • 如何做一名合格的讲师

    一个多月前准备了两年的公司课程终于第一次在公司内部授课了,反馈还不错,有些心得也发现了些需要改进的地方。

    已废弃
  • Filebeat自定义pipeline,完美处理自定义日志字段

    filebeat是本地文件日志数据采集器,通常用作ELK中的日志采集,将采集的日志数据传输到elasticsearch,当需要进行数据处理时,先传入logsta...

    李俊鹏
  • 带你玩转自定义view系列

    View是Android所有控件的基类,接下来借鉴网上的一张图片让大家一目了然(图片出自:http://blog.51cto.com/wangzhaoli/12...

    Android技术干货分享
  • Windows Server 2008R2 配置网络负载平衡(NLB)

    配置环境   VMware:(版本10.0.01)   主集群IP:192.168.220.102   VM1:192.168.220.103   VM2:19...

    Porschev
  • FastDFS蛋疼的集群和负载均衡(十一)之清除Nginx文件缓存

    用户2032165
  • 王者荣耀大数据运营总结

    围绕王者荣耀大数据运营,依托对局日志和好友关系,开展了王者周报、赛季总结和周年庆活动等项目。这些案例中,遇到了哪些挑战?

    旺仔小小鹿
  • 机器学习从零开始系列连载(2)——线性回归

    作者:张磊 编辑:赵一帆 本周剩余内容: 2. 建模方法回顾 2.0 偏差与方差 2.1 线性回归-Linear Regression ...

    机器学习算法工程师

扫码关注云+社区

领取腾讯云代金券