大数据接私活200元，做个简易的HDFS浏览器（一）

Flink应用案例统计实现TopN的两种方式

窗口的计算处理，在实际应用中非常常见。对于一些比较复杂的需求，如果增量聚合函数 无法满足，我们就需要考虑使用窗口处理函数这样的“大招”了。 网站中一个非常经...

三行代码简单修改jar包的项目代码

由于公司项目没给权限，无法直接拿到项目，现需要修改jar包的某张图片，直接在jar包并修改会报错

如何使用云容器搭建基于CentOS7的Hadoop2.x伪分布式环境（CSDN开发者云平台使用初体验）

前不久CSDN联合国内顶级云厂商，共同为开发者提供稳定便宜的云服务，送了学长两张优惠券，一张云容器，一张云主机。恰好最近在学习某硅谷的SeaTunnel课程需要...

CPU使用率过高问题排查及Linux之top命令用法详解

公司连续2天服务器告警CPU使用率过高问题，查看日志无果，尝试使用top命令排查问题。

工作总结之服务器时间不同步导致平台验证失败及Linux系统时间同步方法

公司领导反馈：无权限登录系统，临近下班无奈只能吃过晚饭后回工位排查问题，一直排查到20:30多无法查出问题根源。

工作总结之因为笛卡尔积问题写SQL搞了半天[害]（附笛卡尔积总结）

尝试过左连接，右连接及内连接等等，发现数据始终比实际数据多出很多，查阅资料判断是产生了笛卡尔积，下文有详细的笛卡尔积解释 根据指引选择where 进行多条件限制...

工作总结之linux防火墙配置命令适用centos7、centos8

在CentOS 7中，开启指定区域（zone）中的指定端口8080，或者端口3306、或者指定范围内的端口8080-8088。

DCM：中间件家族迎来新成员

现代应用无时无刻不在与数据打交道，数据计算无处不在，报表统计、数据分析、业务处理不一而足。当前数据处理的主要手段仍然是以关系数据库为代表的相关技术，虽然使用高级...

社交用户画像之集群搭建【二】

得出结论, 如果计算 260G 的数据, 可能和计算 60G 的数据, 所需要的内存一样, Spark 会逐个取数据, 逐个计算, 计算完成后抛弃, 再取下一条

工作记录之ORacleSQL报错:oracle ORA-01476:divisor is equal to zero

java.sql.SQLIntegrityConstraintViolationException: ORA-00001: unique constraint ...

Kylin的入门实战

1.Kylin 是一款大数据OLAP引擎，由ebay-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目

物流项目中SparkSQL的相关调优

CDH性能优化（参数配置）

1.dfs.block.size HDFS中的数据block大小，默认是64M，对于较大集群，可以设置为128或264M

【Spark】 Spark的基础环境 Day03

​ 当Spark Application运行到YARN上时，在提交应用时指定master为yarn即可，同时需要告知YARN集群配置信息（比如ResourceM...

【1024程序员节】RestFul,mvc拦截器,SSM基本整合-学习笔记

Class not found: “com.nzqk.demo_02.test.Demo1Test“

https://blog.csdn.net/CSDN_fanya/article/details/83997778?utm_term=classnotfound...

一文快速入门MongoDB数据库

要在 Windows 系统上安装 MongoDB，首先需要在 MongoDB 的官网（https://www.mongodb.com/try/download/...

Spark的常用算子大总结

作用：返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成 2. 需求：创建一个1-10数组的RDD，将所有元素2形成新的RDD （1）创...

Hive的基本知识(三)Hive中的函数大全

针对内置的函数，可以根据函数的应用类型进行归纳分类，比如：数值类型函数、日期类型函数、字符