如何使用DBeaver连接hive

hive --service metastore & hive --service hiveserver2 &

Spark报错:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo

原因： 因为在之前的项目中，在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩，这就导致上传到hdfs ...

Spark中普通集合与RDD算子的zip()拉链有什么区别

集合中的zip： 如果两个集合的元素个数不相等，那么会将同等数量的数据进行拉链，多余的数据省略不用

Spark中普通集合与RDD算子的sortBy()有什么区别

如图所示，我这调用的sortby()是List集合的方法了，不是算子，所以不能加false参数指定降序排，只能默认的升序排了，但是用reverse()反转就...

Spark中普通集合与RDD算子的sortBy()有什么区别

==结论==：普通集合的sortBy就没有**false**参数，也就是说只能默认的升序排。如果需要对普通集合中的元素需要升序排怎么办？

如何使用python把json文件转换为csv文件

这里有一段json格式的文件，存着全球陆地和海洋的每年异常气温(这里只选了一部分)：global_temperature.json

scala：分别使用懒汉式和饿汉式实现单例模式

想了解Java单例模式的请转到：Java单例模式-懒汉式、恶汉式、静态内部类、枚举以及线程安全问题

java创建对象的五种方式

scala：主构造方法和辅助构造方法

scala：把函数作为值或参数进行传递、作为返回值进行返回，以及什么是闭包和柯里化

内层函数访问外层函数的局部变量，会自动延长外层函数局部变量的生命周期，与内层函数形成一个闭合的效果，我们称之为闭包

scala：函数至简原则、函数简化过程

使用hql-统计连续登陆的三天及以上的用户

先对每个用户的登录日期排序，然后拿第n行的日期，减第n-2行的日期，如果等于2，就说明连续三天登录了。

azkaban群起/群停脚本

Hive读取索引文件问题：select * 和select count(*)读取出来的行数不一致

这是当时创建表时的语句，指定了存储格式为lzo，然后执行了为lzo文件创建索引的命令

azkaban群起/群停脚本

scala/java等其他语言从CSV文件中读取数据，使用逗号','分割可能会出现的问题

众所周知，csv文件默认以逗号“,”分割数据，那么在scala命令行里查询的数据：

hadoop3.1.3版本的secondaryNamenode的web界面不能显示的问题？

在浏览器输入secondaryNamenode的网址后不能显示，解决： 先按F12，然后选择console，就能看见报错信息了：

启动kafka消费报错：WARN [Consumer clientId…] 1 partitions have leader brokers without a matching listener,…

centos6和centos7的防火墙命令，以及它们的区别是是什么？

注意：如果 /etc/sysconfig/iptables文件不存在，可以按如下方式配置一条防火墙规则：

kafka项目经验之如何进行Kafka压力测试、如何计算Kafka分区数、如何确定Kaftka集群机器数量

用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈==（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。 ==...