爱学习的孙小白

LV0
发表了文章

Flume如何使用SpoolingDirSource和TailDirSource来避免数据丢失的风险?

execsource和异步的source一样,无法在source向channel中放入event故障时(比如channel的容量满了),及时通知客户端,暂停生成...

爱学习的孙小白
发表了文章

sqoop概述

sqoop,即SQL To Hadop,目的是完成关系型数据库导入导出到Hadoop

爱学习的孙小白
发表了文章

Flume中常见的组件

爱学习的孙小白
发表了文章

Flume概述

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。

爱学习的孙小白
发表了文章

Hive中库和表的常见操作

爱学习的孙小白
发表了文章

Hive中的数据类型以及案例实操

对于Hive的String类型相当于数据库的varchar类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储2GB的字...

爱学习的孙小白
发表了文章

Hive窗口函数

Hive官网,点我就进 oracle,sqlserver都提供了窗口函数,但是在mysql5.5和5.6都没有提供窗口函数!

爱学习的孙小白
发表了文章

Hive排序函数

注意:排名函数可以跟Over(),但是不能定义window_clause。在计算名次前,需要先排序!

爱学习的孙小白
发表了文章

Hive函数

hive默认解析的日期必须是: 2019-11-24 08:09:10 unix_timestamp:返回当前或指定时间的时间戳 from_unixtim...

爱学习的孙小白
发表了文章

配置hive的元数据到Mysql中

爱学习的孙小白
发表了文章

Hive数据的存储以及在centos7下进行Mysql的安装

表在创建时,有分隔符属性,这个分隔符属性,代表在执行MR程序时,使用哪个分隔符去分割每行中的字段! 查看表(实际在HDFS中也是一个文件)中的所有内容(包括分...

爱学习的孙小白
发表了文章

Hive初体验

Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类...

爱学习的孙小白
发表了文章

hadoop分布式格式化时出现异常java.net.unknownhostexception

在日志的最后一行出现 java.net.unknownhostexception的异常,通常是你的主机名没有配置好,在core-site.xml文件中的主机名与...

爱学习的孙小白
发表了文章

zookeeper集群的搭建

在hadoop101、hadoop102和hadoop103,这三个节点上部署Zookeeper。

爱学习的孙小白
发表了文章

zookeeper入门

Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。

爱学习的孙小白
发表了文章

Zookeeper安装以及常用操作

(1)安装Jdk (2)拷贝Zookeeper安装包到Linux系统下e (3)解压到指定目录

爱学习的孙小白
发表了文章

python之文件操作

os库中的rename()可以完成对文件的重命名。 格式:rename(需要修改的文件名,新的文件名)

爱学习的孙小白
发表了文章

Hadoop之MapReduce开发总结

(1)默认使用的实现类是:TextInputFormat (2)TextInputFormat的功能逻辑是:一次读一行文本,然后将该行的起始偏移量作为key,...

爱学习的孙小白
发表了文章

MapReduce案例之寻找共同好友

以下是博客的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的) 求出哪些人两两之间有共同好友,及他俩的共同好友都有谁?

爱学习的孙小白
发表了文章

MapperReduce常见错误及解决方案

1)导包容易出错。尤其Text和CombineTextInputFormat。 2)Mapper中第一个输入的参数必须是LongWritable或者NullW...

爱学习的孙小白

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券