python set 一些用法

hbase开启thrift2

thrift服务 hbase本身已经集成了thrift，使用以下命令开启hbase thrift的服务器端。关闭是将start修改为stop即可。默认情况下监听...

mysql5.6升级5.7

mysql安装目录 /usr/local/mysql/ 数据目录/usr/local/mysql/data

hivesql导出本地文件

做数据分析的时候，经常会用到hive -e "sql" > xxx.txt或者最原始的hive命令行来获得查询结果，然后再将查询结果放到Excel等工具中，但是...

hive with as 语法

with...as...需要定义一个sql片段,会将这个片段产生的结果集保存在内存中, 后续的sql均可以访问这个结果集和,作用与视图或临时表类似.

解决spark日志清理问题

由于采用了sparkstreaming 任务一直再运行导致日志文件暴涨，达到了硬盘的预警，不得已必须指定策略定期删除日志已保证服务器硬盘空间。

Spark Standalone模式 高可用部署

本文使用Spark的版本为：spark-2.4.0-bin-hadoop2.7.tgz。

ES 最佳实践配置

Elasticsearch 是当前流行的企业级搜索引擎，设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。作为一个开箱即用的产品，在生产环境上...

ES 复合查询

　　ES在查询过程中比较多遇到符合查询，既需要多个字段过滤也需要特殊情况处理，本文简单介绍几种查询组合方便快捷查询ES。

linux 安装python3

我个人习惯将Python安装在 /usr/lib 目录下，我们首先将Python压缩包移动至指定文件夹,我们需要使用mv命令来移动

phoenix 索引实践

开启索引支持 HBase --> 配置 --> 高级 --> 搜索 hbase-site.xml。 在服务端添加下面配置：

spark shuffle参数调优

hbase 面试问题汇总

（2）、无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态增加，同一个表中的不同行的可以有截然不同的列。

hbase数据原理及基本架构

hbase是apache hadoop生态系统中的重要一员，主要用于海量结构化数据存储

hive sql 窗口函数

1） 窗口函数 Lag, Lead, First_value,Last_value Lag, Lead、这两个函数为常用的窗口函数,可以返回上下数据行的数据....

数据仓库建模

如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置；如果把数据看作城市的建筑，我们希望城市规划布局合理；如果把数据看作电脑文件和文件夹，我们希望...

Spark DataFrame简介(二)

Spark的TimestampType类型与Java的java.sql.Timestamp对应，

Spark DataFrame简介（一）

本片将介绍Spark RDD的限制以及DataFrame（DF）如何克服这些限制，从如何创建DataFrame，到DF的各种特性，以及如何优化执行计划。最后还会...

sparksql 概述

Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。

Data Vault 简介

Data Vault 2.0 不仅是建模技术，也提供了一整套数据仓库项目的方法论。它能提供一套非常可行的方案来满足数据仓库项目中对于历史轨迹和审核两个方面的需求...