孙晨c

LV0
发表了文章

如何使用DBeaver连接hive

hive --service metastore & hive --service hiveserver2 &

孙晨c
发表了文章

Spark报错:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo

原因: 因为在之前的项目中,在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩,这就导致上传到hdfs ...

孙晨c
发表了文章

Spark中普通集合与RDD算子的zip()拉链有什么区别

集合中的zip: 如果两个集合的元素个数不相等,那么会将同等数量的数据进行拉链,多余的数据省略不用

孙晨c
发表了文章

Spark中普通集合与RDD算子的sortBy()有什么区别

如图所示,我这调用的sortby()是List集合的方法了,不是算子,所以不能加false参数指定降序排,只能默认的升序排了,但是用reverse()反转就...

孙晨c
发表了文章

Spark中普通集合与RDD算子的sortBy()有什么区别

==结论==:普通集合的sortBy就没有**false**参数,也就是说只能默认的升序排。如果需要对普通集合中的元素需要升序排怎么办?

孙晨c
Scalaspark
发表了文章

如何使用python把json文件转换为csv文件

这里有一段json格式的文件,存着全球陆地和海洋的每年异常气温(这里只选了一部分):global_temperature.json

孙晨c
发表了文章

scala:分别使用懒汉式和饿汉式实现单例模式

想了解Java单例模式的请转到:Java单例模式-懒汉式、恶汉式、静态内部类、枚举以及线程安全问题

孙晨c
发表了文章

java创建对象的五种方式

孙晨c
发表了文章

scala:主构造方法和辅助构造方法

孙晨c
发表了文章

scala:把函数作为值或参数进行传递、作为返回值进行返回,以及什么是闭包和柯里化

内层函数访问外层函数的局部变量,会自动延长外层函数局部变量的生命周期,与内层函数形成一个闭合的效果,我们称之为闭包

孙晨c
发表了文章

scala:函数至简原则、函数简化过程

孙晨c
发表了文章

使用hql-统计连续登陆的三天及以上的用户

先对每个用户的登录日期排序,然后拿第n行的日期,减第n-2行的日期,如果等于2,就说明连续三天登录了。

孙晨c
发表了文章

azkaban群起/群停脚本

孙晨c
发表了文章

Hive读取索引文件问题:select * 和select count(*)读取出来的行数不一致

这是当时创建表时的语句,指定了存储格式为lzo,然后执行了为lzo文件创建索引的命令

孙晨c
发表了文章

azkaban群起/群停脚本

孙晨c
发表了文章

scala/java等其他语言从CSV文件中读取数据,使用逗号','分割可能会出现的问题

众所周知,csv文件默认以逗号“,”分割数据,那么在scala命令行里查询的数据:

孙晨c
发表了文章

hadoop3.1.3版本的secondaryNamenode的web界面不能显示的问题?

在浏览器输入secondaryNamenode的网址后不能显示,解决: 先按F12,然后选择console,就能看见报错信息了:

孙晨c
发表了文章

启动kafka消费报错:WARN [Consumer clientId…] 1 partitions have leader brokers without a matching listener,…

孙晨c
发表了文章

centos6和centos7的防火墙命令,以及它们的区别是是什么?

注意:如果 /etc/sysconfig/iptables文件不存在,可以按如下方式配置一条防火墙规则:

孙晨c
发表了文章

kafka项目经验之如何进行Kafka压力测试、如何计算Kafka分区数、如何确定Kaftka集群机器数量

用Kafka官方自带的脚本,对Kafka进行压测。Kafka压测时,可以查看到哪个地方出现了瓶颈==(CPU,内存,网络IO)。一般都是网络IO达到瓶颈。 ==...

孙晨c

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券