首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

使用kettle来根据时间戳或者批次号来批量导入数据,达到增量的效果。

1、Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定。下载图形化界面的zip包格式的,直接解压缩使用即可。安装部署模式这里不说了,自己可以根据自己的需求安装为单机模式或者集群模式。     Kettle的社区官网:https://community.hitachivantara.com/docs/DOC-1009855       Kettle的下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/ kettle国内镜像下载:http://mirror.bit.edu.cn/pentaho/Data%20Integration/ 2、由于这里只是演示了如何配置通过时间戳和批次号增量的导入数据,所以具体的操作不再叙述,具体的使用自己可以根据需求来使用。

01

大作业——新冠肺炎疫情的数据采集和可视化分析系统

这次大作业的主要流程是: 首先要采集数据,采用脚本定时采集的那种,采集的数据来源这篇博文:https://www.dzyong.com/#/ViewArticle/123,里面有几个数据接口,返回的数据是json格式,用java程序,先转化为用tab键分割的文本数据,然后导入hive中; 其次是在hive中对导进来的数据进行处理过滤,再建几个表,把处理结果存到新建的表里,然后把hive处理结果的数据表导入mysql中;这样做完一次后,开始写脚本,每隔一天采集一次数据,hive处理数据一次,mysql统计数据一次; 接着就是编程,用ssm框架连接到mysql,对数据用javaBean进行封装,用mvc模式将部分数据显示到前台页面; 最后用echarts对封装的数据进行数据可视化,可以做成条形图,折线图,饼图,气泡图,地图等可视化图标。

02

使用mysql dump 导入与导出的方法 原

MySQL实用命令  Wikipedia,自由的百科全书  一) 连接MYSQL:     格式: mysql -h主机地址 -u用户名 -p用户密码  1、例1:连接到本机上的MYSQL     首先在打开DOS窗口,然后进入mysql安装目录下的bin目录下,例如: D:/mysql/bin,再键入命令mysql -uroot -p,回车后提示你输密码,如果刚安装好MYSQL,超级用户root是没有密码的,故直接回车即可进入到MYSQL中了,MYSQL的提示符 是:mysql>  2、例2:连接到远程主机上的MYSQL     假设远程主机的IP为:10.0.0.1,用户名为root,密码为123。则键入以下命令:     mysql -h10.0.0.1 -uroot -p123  (注:u与root可以不用加空格,其它也一样)  3、退出MYSQL命令     exit (回车)  (二) 修改密码:     格式:mysqladmin -u用户名 -p旧密码 password 新密码  1、例1:给root加个密码123。首先在DOS下进入目录C:/mysql/bin,然后键入以下命令:     mysqladmin -uroot -password 123     注:因为开始时root没有密码,所以-p旧密码一项就可以省略了。  2、例2:再将root的密码改为456     mysqladmin -uroot -pab12 password 456  (三) 增加新用户:(注意:和上面不同,下面的因为是MYSQL环境中的命令,所以后面都带一个分号作为命令结束符)     格式:grant select on 数据库.* to 用户名@登录主机 identified by "密码"     例1、增加一个用户test1密码为abc,让他可以在任何主机上登录,并对所有数据库有查询、插入、修改、删除的权限。首先用以root用户连入MYSQL,然后键入以下命令:     grant select,insert,update,delete on *.* to test1@"%" Identified by "abc";     但例1增加的用户是十分危险的,你想如某个人知道test1的密码,那么他就可以在internet上的任何一台电脑上登录你的mysql数据库并对你的数据可以为所欲为了,解决办法见例2。     例2、增加一个用户test2密码为abc,让他只可以在localhost上登录,并可以对数据库mydb进行查询、插入、修改、删除的操作 (localhost指本地主机,即MYSQL数据库所在的那台主机),这样用户即使用知道test2的密码,他也无法从internet上直接访问数据 库,只能通过MYSQL主机上的web页来访问了。     grant select,insert,update,delete on mydb.* to test2@localhost identified by "abc";     如果你不想test2有密码,可以再打一个命令将密码消掉。     grant select,insert,update,delete on mydb.* to test2@localhost identified by "";  (四) 显示命令  1、显示数据库列表:     show databases;     刚开始时才两个数据库:mysql和test。mysql库很重要它里面有MYSQL的系统信息,我们改密码和新增用户,实际上就是用这个库进行操作。  2、显示库中的数据表:     use mysql; //打开库     show tables;  3、显示数据表的结构:     describe 表名;  4、建库:     create database 库名;  5、建表:     use 库名;     create table 表名 (字段设定列表);  6、删库和删表:     drop database 库名;     drop table 表名;  7、将表中记录清空:     delete from 表名;  8、显示表中的记录:     select * from 表名;  MySQL导入导出命令  1.导出整个数据库    mysqldump -u 用户名 -p 数据库名 > 导出的文件名    mysqldump -u wcnc -p smgp_apps_wcnc > wcnc.sql  2.导出一个表    mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名    mysqldump -u wcnc -p sm

02
领券