码字搬砖

67 篇文章
10 人订阅

全部文章

shengjk1

Flink是如何kafka读取数据的

版权声明:本文为博主原创,欢迎转载,转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https...

1490
shengjk1

Flink startupMode是如何起作用的

版权声明:本文为博主原创,欢迎转载,转载请标明出处 Blog Address:http://blog.csdn.net/jsjsjs1789 https...

980
shengjk1

Flink如何保存Offset

版权声明:本文为博主原创,欢迎转载,转载请标明出处 Blog Address:http://blog...

1092
shengjk1

关于分布式计算框架连接kafka不满足同一消费者组不满足只有一个消费者的情况

版权声明:本文为博主原创,欢迎转载,转载请标明出处 Blog Address:http://blog...

692
shengjk1

fork 了别人的仓库后如何保持同步更新

惊天一问:fork 了别人的仓库后,原作者又更新了仓库,如何将自己的代码和原仓库保持一致呢?

2132
shengjk1

自定义maven项目结构-maven archtype

背景 经常使用同一套类似的工程结构,就想着能不能自动构建,不用每次都进行工程结构的拷贝,另外呢也是想建立一套项目工程结构的规范,运用技术代替人工

1523
shengjk1

spark内存模型概论

背景: 自从开始接触spark之后就一直很奇怪spark on yarn到底是怎么样跑起来了,具体的内存占用是怎么分配的?如果container的内存小于–e...

1372
shengjk1

CDH impala hive hbase 整合

最终达到的效果是这样的:hbase是数据的存储中心。impala、hive可以增查habse数据,不支持insert overwrite impala...

2223
shengjk1

Impala原理、使用

简介: impala属于Cloudera,基于内存的,可用户实时的交互式查询。Cloudera建议Impala集群内存最少128G,Impalad与Data...

2203
shengjk1

Hbase迁移备份(后续更新)

1205
shengjk1

Hbase常用命令

3982
shengjk1

Hbase原理详解

首先指出图片的一个错误,Hlog应该属于HRegionserver的,不应该在HRegion中。

2623
shengjk1

工作中用到的sh脚本(持续更新)

day=(date−d‘−0day′‘+echo“(date−d‘−0day′‘+echo“(date -d ‘-0 day’ ‘+%Y-%m-%d’) e...

1575
shengjk1

Flink安装

前提:安装:已安好hadoop,环境已经配好 java 7.X 及其以上 scala有对应版本 单机: 下载、解压、 需要注意:flink与hadoop版...

3962
shengjk1

httpclient post发送json数组并解决json乱码问题

3592
shengjk1

腾讯企业邮发送邮件 java版

背景: 由于spark streaming程序需要保证 1*24 小时,不间断运行的,为了第一时间知道程序是否出错,所以采用了出错发送邮件这一策略,而公司恰...

1322
shengjk1

公司内部邮箱服务器发送邮件 java版

由于需要给合作方以压缩包的形式每天返回数据,基于我们自己写的分布式程序,而月末通过返回的数据,来与合作方进行对账,所以每天数据返回的成败就至关重要了,但又懒得每...

3342
shengjk1

kafka权限认证

背景: 最近公司因为用的云服务器,需要保证kafka的安全性。可喜的是kafka0.9开始,已经支持权限控制了。网上中文资料又少,特此基于kafka0.9,...

3943
shengjk1

sqoop原理

sqoop,各位看官基本上都了解或者听说过,小二就不进行废话了。另外基于国内大部分用的为CDH,小二就想说一点:CDH中的sqoop2其实是apace版的sqo...

3111
shengjk1

hive原理分析

基于hive1.1(从hive2.0开始,hive开始基于内存了,底层的实现框架不在基于MR)

2903

扫码关注云+社区