孙小白

186 篇文章
22 人订阅

全部文章

爱学习的孙小白

Hbase集群搭建以及启动(单点启动,群起)

4010
爱学习的孙小白

Flume的put和take事务

putList在初始化时,需要根据一个固定的size初始化,这个size在channel中设置!在channel中,这个size由参数transactionCa...

7630
爱学习的孙小白

Flume如何使用SpoolingDirSource和TailDirSource来避免数据丢失的风险?

execsource和异步的source一样,无法在source向channel中放入event故障时(比如channel的容量满了),及时通知客户端,暂停生成...

8220
爱学习的孙小白

sqoop概述

sqoop,即SQL To Hadop,目的是完成关系型数据库导入导出到Hadoop

7610
爱学习的孙小白

Flume中常见的组件

5520
爱学习的孙小白

Flume概述

Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构,灵活简单。

6310
爱学习的孙小白

Hive中库和表的常见操作

6942
爱学习的孙小白

Hive中的数据类型以及案例实操

对于Hive的String类型相当于数据库的varchar类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储2GB的字...

6942
爱学习的孙小白

Hive窗口函数

Hive官网,点我就进 oracle,sqlserver都提供了窗口函数,但是在mysql5.5和5.6都没有提供窗口函数!

7432
爱学习的孙小白

Hive排序函数

注意:排名函数可以跟Over(),但是不能定义window_clause。在计算名次前,需要先排序!

7131
爱学习的孙小白

Hive函数

hive默认解析的日期必须是: 2019-11-24 08:09:10 unix_timestamp:返回当前或指定时间的时间戳 from_unixtim...

5321
爱学习的孙小白

配置hive的元数据到Mysql中

8120
爱学习的孙小白

Hive数据的存储以及在centos7下进行Mysql的安装

表在创建时,有分隔符属性,这个分隔符属性,代表在执行MR程序时,使用哪个分隔符去分割每行中的字段! 查看表(实际在HDFS中也是一个文件)中的所有内容(包括分...

7120
爱学习的孙小白

Hive初体验

Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类...

6520
爱学习的孙小白

hadoop分布式格式化时出现异常java.net.unknownhostexception

在日志的最后一行出现 java.net.unknownhostexception的异常,通常是你的主机名没有配置好,在core-site.xml文件中的主机名与...

7330
爱学习的孙小白

zookeeper集群的搭建

在hadoop101、hadoop102和hadoop103,这三个节点上部署Zookeeper。

4120
爱学习的孙小白

zookeeper入门

Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。

5220
爱学习的孙小白

Zookeeper安装以及常用操作

(1)安装Jdk (2)拷贝Zookeeper安装包到Linux系统下e (3)解压到指定目录

7520
爱学习的孙小白

python之文件操作

os库中的rename()可以完成对文件的重命名。 格式:rename(需要修改的文件名,新的文件名)

6521
爱学习的孙小白

Hadoop之MapReduce开发总结

(1)默认使用的实现类是:TextInputFormat (2)TextInputFormat的功能逻辑是:一次读一行文本,然后将该行的起始偏移量作为key,...

8821

扫码关注云+社区

领取腾讯云代金券