Flume如何使用SpoolingDirSource和TailDirSource来避免数据丢失的风险?

execsource和异步的source一样，无法在source向channel中放入event故障时(比如channel的容量满了)，及时通知客户端，暂停生成...

sqoop概述

sqoop，即SQL To Hadop，目的是完成关系型数据库导入导出到Hadoop

Flume中常见的组件

Flume概述

Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。

Hive中库和表的常见操作

Hive中的数据类型以及案例实操

对于Hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字...

Hive窗口函数

Hive官网，点我就进 oracle,sqlserver都提供了窗口函数，但是在mysql5.5和5.6都没有提供窗口函数！

Hive排序函数

注意：排名函数可以跟Over()，但是不能定义window_clause。在计算名次前，需要先排序！

Hive函数

hive默认解析的日期必须是： 2019-11-24 08:09:10 unix_timestamp:返回当前或指定时间的时间戳 from_unixtim...

配置hive的元数据到Mysql中

Hive数据的存储以及在centos7下进行Mysql的安装

表在创建时，有分隔符属性，这个分隔符属性，代表在执行MR程序时，使用哪个分隔符去分割每行中的字段！ 查看表(实际在HDFS中也是一个文件)中的所有内容(包括分...

Hive初体验

Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类...

hadoop分布式格式化时出现异常java.net.unknownhostexception

在日志的最后一行出现 java.net.unknownhostexception的异常，通常是你的主机名没有配置好，在core-site.xml文件中的主机名与...

zookeeper集群的搭建

在hadoop101、hadoop102和hadoop103，这三个节点上部署Zookeeper。

zookeeper入门

Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。

Zookeeper安装以及常用操作

（1）安装Jdk （2）拷贝Zookeeper安装包到Linux系统下e （3）解压到指定目录

python之文件操作

os库中的rename()可以完成对文件的重命名。 格式：rename(需要修改的文件名，新的文件名)

Hadoop之MapReduce开发总结

（1）默认使用的实现类是：TextInputFormat （2）TextInputFormat的功能逻辑是：一次读一行文本，然后将该行的起始偏移量作为key，...

MapReduce案例之寻找共同好友

以下是博客的好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） 求出哪些人两两之间有共同好友，及他俩的共同好友都有谁？

MapperReduce常见错误及解决方案

1）导包容易出错。尤其Text和CombineTextInputFormat。 2）Mapper中第一个输入的参数必须是LongWritable或者NullW...