数据表A(ID),A的数据量很⼤的情况下,我们会进⾏分表操作,A(ID)表拆分成了A1表 (ID)+A2表(ID),需要⼀种在分布式集群架构中能够产⽣全局唯⼀ID的⽅案
1.下列对定时任务描述正确的是() 您的回答: A可以实现异步处理B可以实现应用解耦:C可以实现流量削峰 2.以下属于服务器端定时任务主要实现方式的是() 您的回答: A JDK中的Timer机制 c线程机制 D Quartz任务调度框架
3.分布式调度体现的两层主要含义是() 您的回答: B任务的多实例高可用机制: D任务的拆分机制(任务分片),并行执行
4.下列属于轻量级体现的是() 您的回答: A使用简便,不需安装过多过重的其他服务或者组件B使用一个框架的时候,只把其Jar包引入调用即可ic开发 完成后不需要独立部署
5.下列属于ElasticJob无中心化体现的是() 您的回答: A执行节点对等!C服务自发现
浏览器—>Nginx—>Tomcat1(Session中记录⽤户信息)
分布式和集群 分布式和集群是不⼀样的,分布式⼀定是集群,但是集群不⼀定是分布式(因为集群就是多个实例⼀起⼯作,分布式将⼀个系统拆分之后那就是多个实例;集群并不⼀定是分布式,因为复制型的集群不是拆分⽽是复制)
作业一: 1)基于SpringBoot整合SSS(Spring+SpringMVC+SpringDataJPA)框架(即整合第一阶段模块三作业第二题内容,含有登录拦截验证) 2)在 1 的基础上开发SpringSession进行Session一致性控制 3)将工程打成war包 4)将war包部署到分布式集群架构中,要求一个Nginx节点,两个Tomcat节点 —> Nginx(轮询策略) —> Tomcat1—> Tomcat2 5)完成测试
思路和原理: 请求通过 tomcat到达 servlet容器的时候,通过过滤器对请求做了一次封装,如果没有过滤器, servet就会从 tomcat中获取 Session 有了过滤器之后,取出来的 Session就是 Redis 中的 Session,有的话就从 Redis中获取,没有的话就创建并提交到 Redis中去
SET NAMES utf8mb4;
SET FOREIGN_KEY_CHECKS = 0;
-- ----------------------------
-- Table structure for tb_resume
-- ----------------------------
DROP TABLE IF EXISTS `tb_resume`;
CREATE TABLE `tb_resume` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`address` varchar(20) DEFAULT NULL,
`name` varchar(20) DEFAULT NULL,
`phone` varchar(20) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8;
-- ----------------------------
-- Records of tb_resume
-- ----------------------------
BEGIN;
INSERT INTO `tb_resume` VALUES (1, '北京', '张三', '131000000'), (2, '上海', '李四', '151000000'), (3, '⼴州', '王五', '153000000'), (4, '深圳', '小不点', '157000000'), (5, '九江', '大王八', '158000000'), (6, '衡阳', '绿豆汤', '159000000'), (7, '永州', '凉拌粉', '188000000'), (8, '南昌', '南昌拌粉', '18812345566');
COMMIT;
SET FOREIGN_KEY_CHECKS = 1;
upstream myProxy {
server 127.0.0.1:8080;
server 127.0.0.1:8081;
}
server {
listen 80;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
#location / {
# root html;
# index index.html index.htm;
# }
location / {
proxy_pass http://myProxy;
proxy_set_header Host $host;
}
location /favicon.ico {
}
<Server port="8006" shutdown="SHUTDOWN">
...
<Connector port="8081" protocol="HTTP/1.1"
connectionTimeout="20000"
redirectPort="8443" />
yum install redis -y
, 并修改配置文件 /etc/redis.conf
,重启 redis 服务redis.conf 修改说明
bind 127.0.0.1 ::1
绑定的主机地址这一行注释掉 或者将127.0.0.1改为0.0.0.0。protected-mode
要设置成no (默认为yes的, 防止了远程访问,在redis3.2.3版本后)daemonize no
redis默认是yes ,以守护进程的方式. 所以无需修改.
若在 docker run命令里边有一个参数 -d
这个参数也是以守护进程执行。则需要打开配置文件把守护进程修改为 no# bind 127.0.0.1
protected-mode no
requirepass 12345
daemonize yes
以下分别从代码 和 配置文件 进行阐述.
代码讲解
配置拦截器从 xml 改为 java 代码中配置
package com.lagou.edu.sss.interceptor;
@Configuration
public class MyWebAppConfigurer implements WebMvcConfigurer {
@Autowired
private MyInterceptor myInterceptor;
@Override
public void addInterceptors(InterceptorRegistry registry) {
registry.addInterceptor(myInterceptor)
.addPathPatterns("/**")
.excludePathPatterns("/user/**")
.excludePathPatterns("/page/login.htm");
}
}
在这里新建了 ServletInitializer 类. 因为若打包成war包,则需要继承 import org.springframework.boot.web.servlet.support.SpringBootServletInitializer
类,覆盖其configure(SpringApplicationBuilder)方法
package com.lagou.edu.sss;
public class ServletInitializer extends SpringBootServletInitializer {
@Override
protected SpringApplicationBuilder configure(SpringApplicationBuilder application) {
return application.sources(SssApplication.class);
}
}
Application 上加入 @EnableCaching 和 @EnableRedisHttpSession 注解.
@SpringBootApplication
@EnableCaching
@EnableRedisHttpSession
public class SssApplication {
public static void main(String[] args) {
SpringApplication.run(SssApplication.class, args);
}
}
文件配置讲解
修改 WEB-INF 下的 web.xml 信息 因为打包成war的话,如果打包之后的文件中没有web.xml文件的话自己可以加进去一个最简单的web.xml(只有根节点的定义,而没有子元素),防止因缺乏web.xml文件而部署失败
<!DOCTYPE web-app PUBLIC
"-//Sun Microsystems, Inc.//DTD Web Application 2.3//EN"
"http://java.sun.com/dtd/web-app_2_3.dtd" >
<web-app>
<display-name>作业2</display-name>
</web-app>
application 配置文件配置
spring.http.encoding.force=true
# jsp 支持
spring.mvc.view.suffix=.jsp
spring.mvc.view.prefix=/WEB-INF/jsp/
# 关闭默认模板引擎
spring.thymeleaf.cache=false
spring.thymeleaf.enabled=false
# mysql 配置
spring.datasource.url=jdbc:mysql:///test?characterEncoding=utf-8&serverTimezone=UTC
spring.datasource.username=root
spring.datasource.password=123456
# redis 配置
spring.redis.database=0
spring.redis.host=localhost
spring.redis.port=6379
spring.redis.timeout=5000
spring.redis.password=
建立 webapp 和 page子文件夹,从原项目中拷贝edit.jsp, list.jsp, login.jsp.
pom 文件中引入 jsp 相关支持 和 session支持
<!-- servlet 依赖. -->
<dependency>
<groupId>javax.servlet</groupId>
<artifactId>javax.servlet-api</artifactId>
<scope>provided</scope>
</dependency>
<!--jstl-->
<dependency>
<groupId>javax.servlet</groupId>
<artifactId>jstl</artifactId>
</dependency>
<!-- tomcat 的支持.-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-tomcat</artifactId>
<scope>provided</scope>
</dependency>
<!--引入springBoot 内嵌的Tomcat对JSP的解析包-->
<dependency>
<groupId>org.apache.tomcat.embed</groupId>
<artifactId>tomcat-embed-jasper</artifactId>
<scope>provided</scope>
</dependency>
<!-- session 支持-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.session</groupId>
<artifactId>spring-session-data-redis</artifactId>
</dependency>
spring-boot:run
先自行验证功能是否一切正常sss.war
. 然后分别发送到对应的 webapp 目录下。部署好以后等待片刻即可访问。外网版演示地址 http://117.50.94.8/sss/page/list.htm
这次的主要坑点:
linux 服务器如何查看日志 1、先切换到:cd usr/local/tomcat5/logs 2、tail -f catalina.out 3、这样运行时就可以实时查看运行日志了
作业二:
请描述你对分布式调度的理解(结合Elastic-Job-lite图文并茂描述)
什么是分布式任务调度?有两层含义
1)运⾏在分布式集群环境下的调度任务(同⼀个定时任务程序部署多份,只应该有⼀个定时任务在执 ⾏)
2)分布式调度—>定时任务的分布式—>定时任务的拆分(即为把⼀个⼤的作业任务拆分为多个⼩的作业任务,同时执⾏)
官方网站: http://shardingsphere.apache.org/elasticjob/
ElasticJob 是一个分布式调度解决方案,由 2 个相互独立的子项目 ElasticJob Lite 和 ElasticJob Cloud 组成。
ElasticJob Lite 定位为轻量级无中心化解决方案,使用 jar 的形式提供分布式任务的协调服务; ElasticJob Cloud 使用 Mesos + Docker(TODO)的解决方案,额外提供资源治理、应用分发以及进程隔离等服务。
ElasticJob 的各个产品使用统一的作业 API,开发者仅需要一次开发,即可随意部署。
<!-- 引入elasticjob-lite核心模块 -->
<dependency>
<groupId>org.apache.shardingsphere.elasticjob</groupId>
<artifactId>elasticjob-lite-core</artifactId>
<version>${latest.release.version}</version>
</dependency>
<!-- 使用springframework自定义命名空间时引入 -->
<dependency>
<groupId>org.apache.shardingsphere.elasticjob</groupId>
<artifactId>elasticjob-lite-spring</artifactId>
<version>${latest.release.version}</version>
</dependency>
public class MyElasticJob implements SimpleJob {
@Override
public void execute(ShardingContext context) {
switch (context.getShardingItem()) {
case 0:
// do something by sharding item 0
break;
case 1:
// do something by sharding item 1
break;
case 2:
// do something by sharding item 2
break;
// case n: ...
}
}
}
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:elasticjob="http://shardingsphere.apache.org/schema/elasticjob"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://shardingsphere.apache.org/schema/elasticjob
http://shardingsphere.apache.org/schema/elasticjob/elasticjob.xsd
">
<!--配置作业注册中心 -->
<elasticjob:zookeeper id="regCenter" server-lists="yourhost:2181" namespace="elastic-job" base-sleep-time-milliseconds="1000" max-sleep-time-milliseconds="3000" max-retries="3" />
<!--配置任务快照服务 -->
<elasticjob:snapshot id="jobSnapshot" registry-center-ref="regCenter" dump-port="9999"/>
<!--配置作业类 -->
<bean id="simpleJob" class="xxx.MyElasticJob" />
<!--配置作业 -->
<elasticjob:simple id="oneOffElasticJob" job-ref="simpleJob" registry-center-ref="regCenter" cron="0/10 * * * * ?" sharding-total-count="3" sharding-item-parameters="0=A,1=B,2=C" />
</beans>
拦截器与Filter的区别 Spring的拦截器与Servlet的Filter有相似之处,比如二者都是AOP编程思想的体现, 都能实现权限检查、日志记录等。不同的是: