DBeaver连接hive、impala、phoenix、HAWQ、redis

伴随着技术的不断发展与进步，我们会接触和使用越来越多的数据源。从经久不衰的MySQL、Oracle、SQLserver、DB2等关系数据库，到方...

Kettle与Hadoop（九）提交Spark作业

实验环境： Spark History Server： 172.16.1.126

Kettle与Hadoop（八）执行Oozie作业

/root/big_data/job.properties文件的内容如下：

Kettle与Hadoop（七）执行Sqoop作业

1. 建立一个作业，将HDFS文件导出到MySQL数据库。 （1）打开PDI，新建一个作业，如图1所示。

Kettle与Hadoop（六）执行HiveQL语句

https://blog.csdn.net/wzy0623/article/details/106471124#2.%20%E5%90%91Hive%E5%AF...

Kettle与Hadoop（五）执行MapReduce

本示例说明如何使用Pentaho MapReduce把原始web日志解析成格式化的记录。

Kettle与Hadoop（四）导入导出Hadoop集群数据

http://wiki.pentaho.com/download/attachments/23530622/weblogs_rebuild.txt.zip?ve...

Kettle与Hadoop（二）Kettle安装配置

本文描述在CentOS 7.2上安装和运行Kettle 8.3的步骤。

Kettle与Hadoop（三）连接Hadoop

Kettle可以与Hadoop协同工作。让我们从简单的开始，本文介绍如何配置Kettle访问Hadoop集群（HDFS、MapReduce、Zookeeper、...

Kettle与Hadoop（一）Kettle简介

Kettle是一款流行的ETL（Extract-Transform-Load，即数据抽取、转换、装载）工具，并可用来操作Hadoop上的数据。Kettle是用J...

彻底搞清 Kettle 数据分发方式与多线程

Kettle转换中，各步骤之间行集（row set）的发送有分发和复制两种方式，本文讨论这两种方式的区别，以及它们与Kettle多线程的关系。我们用一个简单的例...

Kettle数据库连接中的集群与分片

在“集群”标签，勾选“使用集群”，然后定义三个分区。这里的分区实际指的是数据库实例，需要指定自定义的分区ID，数据库实例的主机名（IP）、端口、数据库名、用户名...

Kettle工具——Spoon、Kitchen、Pan、Carte

Spoon是Kettle的集成开发环境（IDE）。它基于SWT提供了图形化的用户接口，主要用于ETL的设计。 在Kettle安装目录下，有启动Spoon的脚本...

使用MySQL的rlike判断字符串是否匹配

表user_experience_wealth_log改名为user_experience_wealth_log_new，该表涉及若干存储过程。为了避免遗漏，需...

phoenix中日期与时间戳的相关转换

MySQL找出未提交事务的信息

我们经常会碰到这样的情况，某个事务执行完了未提交，后续再来一个DDL和DML操作，导致后面的session要么处于waiting for met...

redis手工分片

随着数据量越来越大，一个redis实例可能需要分成多个以形成数据分片。此时通常可以采取两种方式操作：一是启用cluster模式自动完成数据分片；...

CDH 6.3.1整合Zeppelin 0.8.2

Zeppelin是一个基于Web的笔记本，可以直接在浏览器中编写代码，对数据进行查询分析并生成报表或图表，做出数据驱动的、交互、协作的文档，并且可...

MySQL百万级数据高效导入Redis

随着系统的运行，数据量变得越来越大，单纯的将数据存储在MySQL中，已然不能满足查询要求了，此时我们引入Redis作为查询的缓存层，将业务中的热数据保存到Red...

在CDH 6.3中安装Phoenix服务

三、在Cloudera Manager中添加Phoenix服务（前提是已经安装了HBase服务）