目录 物流项目详细介绍 一、行业背景介绍 二、物流行业特点 三、项目背景介绍 四、物流大数据的作用 五、物流大数据应用案例 1、车货匹配 2、运输路线优化 3、库存预测 4、设备修理预测 5、供应链协同管理...六、智慧物流大数据平台介绍 物流项目详细介绍 一、行业背景介绍 近年来，我国电子商务和网络购物的迅猛发展，为快递业带来了前所未有的发展机遇 2013年，全国快递业务量首次超过函件业务量。...物流行业的信息化普及，最基本的需要解决的就是，将各个过程数据化，并将相关数据进行结合分析，将关键数据指标转换为决策数据。 三、项目背景介绍 本项目基于一家大型物流公司研发的智慧物流大数据平台。...该大数据项目主要围绕订单、运输、仓储、搬运装卸、包装以及流通加工等物流环节中涉及的数据、信息等。...通过将资源数据、交易数据、供应商数据、质量数据等存储起来用于跟踪和分析供应链在执行过程中的效率、成本，能够控制产品质量；通过数学模型、优化和模拟技术综合平衡订单、产能、调度、库存和成本间的关系，找到优化解决方案
目录 物流项目介绍和内容大纲 一、项目简介 二、功能介绍 三、内容大纲 四、技术亮点及价值有离线业务、也有实时业务 ---- 物流项目介绍和内容大纲 一、项目简介 本项目基于大型物流公司研发的智慧物流大数据平台...StructureStreaming流式处理系统将数据经过JOIN处理后，将数据写入到Elastic Search中 6、StructureStreaming流处理会将数据写入到ClickHouse，Java...Impala对kudu数据进行分析查询 8、前端应用对数据进行可视化展示 三、内容大纲 第1章：客快物流大数据之项目介绍及解决方案 第2章：客快物流大数据之docker使用 第3章：客快物流大数据之业务服务器环境配置...Streaming Azkaban定时调度主题及指标统计作业 Kudu + Impala准实时分析系统 使用HUE集成Impala进行数据即席查询 ClickHouse实时存储、计算引擎 自定义数据源实现...Spark与Clickhouse的整合 ELK全文检索 Spring Cloud搭建数据服务 存储、计算性能调优
Impala的java开发在实际工作当中，因为impala的查询比较快，所以可能有会使用到impala来做数据库查询的情况，可以通过java代码来进行操作impala的查询。...二、创建java工程创建普通java工程，把依赖添加工程。...0.9.3 pom 四、java...api操作package cn.lanson;import java.sql.*;/** * 使用jdbc的方式操作impala */public class ImpalaJdbcDemo {
> <web-app version="2.5" id="WebApp_ID" xmlns="http://<em>java</em>.sun.com/xml/ns/javaee" xmlns:xsi="http://...www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://<em>java</em>.sun.com/xml/ns/javaee http://<em>java</em>.sun.com
上文中我们将maven项目成功的跑起来了，本文来集成下git。如果对Git不是太熟悉可以参考下面链接先熟悉下。...---- Git专栏内容 ---- Git管理 我们项目主要由三部分组成 序号 工程 说明 1 logistics-parent 所有工程的父工程，统一管理jar包的版本 2 logistics-common...系统中工具代码 3 logistics-manager 聚合工程，具体实现功能的是其中的各个module 所以核心是需要将logistics-manager工程被git管理，其他两个项目的变动很小
目录 封装公共接口（根据存储介质抽取特质） 封装公共接口（根据存储介质抽取特质） Structured Streaming 流处理程序消费kafka数据以后，会将数据分别存储到Kudu、ES、ClickHouse...中，因此可以根据存储介质不同，封装其公共接口，每个流处理程序继承自该接口 实现步骤： 在etl模块的 realtime 包下创建 StreamApp 特质 实现方法：创建读取kafka集群指定主题的数据
org.springframework.stereotype.Controller" /> 在logistics-manager-service项目中创建对应的...2.事务配置文件 项目中事务肯定是需要开启的，所以我们单独添加一个事务管理的配置文件，如下图 ? 说明:applicationContext-trans.xml文件的内容如下所示。.....))" /> web.xml中注册 我们创建的3个Spring的配置文件，相互之间是独立的，我们需要在logistics-manager-web项目的...> <web-app version="2.5" id="WebApp_ID" xmlns="http://<em>java</em>.sun.com/xml/ns/javaee" xmlns:xsi="http://...www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://<em>java</em>.sun.com/xml/ns/javaee http://<em>java</em>.sun.com
在上篇文章中我们将maven的聚合工程创建好了，本文来介绍下怎么启动其中的web项目。...-- /表示访问路径 省略项目名 --> / <!...注意只需要install logistics-manager一个项目即可。 ?...3.6启动web项目 第一次启动项目,选中logistics-manager-web右键选择如下图: ? 输入:tomcat7:run ? 然后等待： ?...访问测试,浏览器地址栏输入:http://localhost:8082 来访问，有如下结果说明我们的项目启动成功!!! ? 成功~~ 下次启动: ?
目录 Java代码操作Kudu 一、构建maven工程 二、导入依赖 三、创建包结构 四、初始化方法 五、创建表 六、插入数据 七、...查询数据 八、修改数据 九、删除数据 十、修改表 十一、删除表 Java代码操作Kudu 一、构建maven工程 二、导入依赖 <repositories...org.apache.kudu.Type; import org.apache.kudu.client.*; import org.junit.Before; import org.junit.Test; import java.util.List
本文开始通过一个简单的物流项目来将前面的讲的SSM框架内容整合练习下。...-- MySql --> mysql mysql-connector-java</artifactId...1.2依赖设置 此项目不用添加额外依赖暂时 2.logistics-manager-dao 2.1创建项目 ?...-- MySql --> mysql mysql-connector-java...项目搭建完成，下篇继续~~
{DataFrame, SparkSession} /** * 编写StructuredStreaming程序，实时从Kafka消息数据（物流相关数据和CRM相关数据），打印控制台Console...初始化消费物流Topic数据参数 * 5. 消费物流Topic数据，打印控制台 * 6. 初始化消费CRM Topic数据参数 * 7....初始化消费物流Topic数据参数 val logisticsDF: DataFrame = spark.readStream .format("kafka") .option("kafka.bootstrap.servers...消费物流Topic数据，打印控制台 logisticsDF.writeStream .queryName("query-logistics-console") .outputMode(OutputMode.Append
在logistics-manager-service项目中创建。 ?...接口定义:IRoleService package com.bobo.service; import java.util.List; import com.bobo.pojo.Role; /**...) throws Exception { mapper.deleteByPrimaryKey(id); } } 3.controller层 注意是在logistics-manager-web项目中创建...role.jsp代码 <%@ page language="<em>java</em>" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%> <!
Dao层整合 1.项目结构 ? 2.添加配置文件 spring和mybatis的整合我们有两个配置文件要添加，分别是spring的配置文件和mybatis的配置文件。但是这两个配置文件放在哪儿呢？...-- 映射文件和接口文件不在同一个目录下的时候 它的spring是不会去扫描jar包中的相应目录的，只会去他当前项目下获取。...-- 映射文件和接口文件不在同一个目录下的时候 它的spring是不会去扫描jar包中的相应目录的，只会去他当前项目下获取。
5.7+ Redis: 3.2 + Node Js: 10.0 + Npm: 5.6.0+ Yarn: 1.21.1+ IDE插件 (lombok 插件必装) 介绍 基于Jeecg-boot开发的物流仓储系统...，涵盖模块：用户管理、车辆管理、计划管理、仓库管理、库存管理、财务管理、统计报表、系统管理等模块组成关注Java项目分享 软件架构 jeecg-boot-master 后台项目 cable.sql 后台管理系统数据库脚本...：Maven3.5+、JDK1.8+ 关注Java项目分享 项目所需软件下载路径及jeecg文档说明 JeecgBoot官方文档 http://jeecg-boot.mydoc.io/ 新手必看启动教学...后端配置 进入 IDEA 工具后设置 Maven 依赖下载设置 更改自己的 Maven 安装路径，用来下载项目所需的 jar 包 关注Java项目分享 ?...选择后台项目的启动环境 -> dev[开发环境] 或者 prod[生产环境] ? 然后更改对应开发环境的配置文件，如 application-dev.yml 文件 配置项目启动端口号 ?
目录 项目环境准备 一、服务器规划 二、安装CentOS-7 ---- 项目环境准备 一、服务器规划 在大数据物流系统中，一般先在确立一套通用的、可扩展的计算平台，然后基于该平台统一软件栈...因此在这里不再重复描述，只列出来大体步骤： 使用VMware安装Centos 设置IP地址 设置主机名 设置Hosts文件 关闭防火墙 设置集群ssh 安装docker环境 下一篇将会详细介绍物流管理系统服务器里面的软件清单和安装步骤
1）、物流系统Logistics：数据存储数据库中，使用OGG实时增量采集，发送到Topic中（JSON） OGG 11g版本，实时性不是很高，有一定延迟性 2）、客户关系管理系统CRM：数据存储在...物流大数据项目来说，业务主要有三大类： - 第一类、离线报表和即席查询：Kudu、SparkSQL、Impala和Hue - 离线报表 Kudu表、SparkSQL（DSL） - 即席查询...数据实时ETL 处理流程图 对于物流项目来说，如何对业务数据进行实时ETL存储。...第三、对比Flink计算引擎 物流项目来说，对实时性要求不是很高，使用StructuredStreaming完全可以满足 Flink中流式计算使用DataStream API，比较底层，没有StructuredStreaming...configuration.html 11-[掌握]-Kudu 使用方式及KuduPlus 工具 Kudu提供三种方式，操作Kudu数据库，进行DDL操作和DML操作： 1）、方式一：可通过Java
3.2反向生成代码 创建一个普通java项目即可 ? 在src下创建一个generatorConfig.xml文件。内容如下: <!...3.3拷贝到项目中 pojo 明显pojo文件我们应该拷贝到logistics-manager-pojo项目中 ?
目录 项目解决方案 一、核心业务流程 1、快递单 2、运单 3、干线运输 二、逻辑架构 三、数据流转 四、项目的技术选型 1、流式处理平台 2、分布式计算平台 3、海量数据存储 五、框架软件版本 六、技术亮点...七、服务器资源规划 ---- 项目解决方案 一、核心业务流程 操作步骤 说明 1 客户下单 客户通过微信公众号、微信小程序、App端、官网填写订单，并提交到物流公司的订单管理系统OMS...采集到的数据会存放到消息队列临时存储中。 数据存储平台 本次建设的物流大数据平台存储平台较为丰富。...为了将一些要求监控的业务实时展示，Structure Streaming流处理会将数据写入到ClickHouse，Java Web后端直接将数据查询出来进行展示。...结论： 本项目使用Structured Streaming开发实时部分，同时离线计算使用到SparkSQL，而Spark的生态相对于Flink更加成熟，因此采用Spark开发 3、海量数据存储 ETL
登录页面代码: <%@ page language="<em>java</em>" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%> <!
jsp页面内容: <%@ page language="<em>java</em>" contentType="text/html; charset=UTF-8" pageEncoding="UTF-8"%> <!
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
