mikeLiu

LV0
关注了用户

大数据真好玩

170 文章0 回答44 关注者
发表了文章

Spark GenericUDF动态加载外部资源

文章1中提到的动态加载外部资源,其实需要重启Spark任务才会生效。受到文章2启动,可以在数据中加入常量列,表示外部资源的地址,并作为UDF的参数(UDF不能输...

mikeLiu
sparkJavaSQL
发表了文章

Spark UDF加载外部资源

由于Spark UDF的输入参数必须是数据列column,在UDF中进行如Redis查询、白/黑名单过滤前,需要加载外部资源(如配置参数、白名单)初始化它们的实...

mikeLiu
sparkJavaSQL
关注了用户

大数据技术与架构

专注大数据技术与架构。从0帮助Javaer迅速进入大数据开发领域~

442 文章0 回答176 关注者
发表了文章

Spark UDF小结

Spark UDF 增加了对 DS 数据结构的操作灵活性,但是使用不当会抵消Spark底层优化。

mikeLiu
sparkSQL
发表了文章

Spark Java UDAF 输入struct嵌套结构

虽然Spark3.0.0的官方文档1已对Spark Java UDAF进行了说明,并且有example代码。因此本文主要解决在实际开发过程中,遇到的2种问题:

mikeLiu
sparkJavaSQL
发表了文章

Spark UDF1 输入复杂结构

在使用Java Spark处理Parquet格式的数据时,难免会遇到struct及其嵌套的格式。而现有的spark UDF不能直接接收List、类(struct...

mikeLiu
sparkJava
发表了文章

Spark UDF1 返回复杂结构

由java开发UDF1需指定返回值的DataType,spark-2.3.1暂不支持Array、Map这些复杂结构。因此,需要自定义DataType,满足定制化...

mikeLiu
sparkJava
发表了文章

springboot开发spark-submit的java代码

习惯使用spark-submit提交python写的pyspark脚本,突然想开发基于springboot开发java spark代码。在实际开发工程中,由于对...

mikeLiu
sparkSpring BootJava
发表了文章

Spark UDF实现demo

使用Spark开发代码过程时,很多时候当前库中的算子不能满足业务需求。此时,UDFs(user defined functions) 派上非常大的作用。基于Da...

mikeLiu
sparkJavaSQL
创建了专栏

技术学习

8 文章6 关注者
提出了问题
订阅了专栏

云加头条

云头条,早报资讯。云+社区的管理动态和活动公告。

359 文章1.6M 关注者
订阅了专栏

云加推荐

97 文章1.6M 关注者

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券