首页
学习
活动
专区
工具
TVP
发布

祝威廉

专栏作者
308
文章
201921
阅读量
44
订阅数
让程序轻松和Byzer 交互,Byzer client SDK 来了!
Hmmm, 首先这是啥呢,byzer-client-sdk 目标是给你提供了使用各种语言拼接和运行Byzer代码的能力(现阶段仅支持 Java/Scala)。
用户2936994
2022-07-21
3250
用MLSQL完成简书文章图片备份
我今天正好想做两个事,第一个是,我想把我简书内容备份下来,但是官方提供的备份功能只能备份成markdown,然后发现图片没办法备份。所以我需要把我简书里的所有图片下载下来。
用户2936994
2022-07-21
2380
神奇SELF-TYPE:让你的类更精简的一种方式
我们经常会把一个类写的很大,因为我们要完成的任务非常多。但是一个类过于庞大,往往会有巨大的维护成本。 所以面向对象编程引入多个类来将单个类拆解,从而使得代码的组织变得更加优雅,但这也引入了一个新的问题,就是,如何让这些类进行协作交互。我们首先会想到如下两个:
用户2936994
2022-07-21
2660
SQL智能代码补全引擎【sql-code-intelligence】介绍
sql-code-intelligence 支持标准的Spark SQL补全,也支持[MLSQL](allwefantasy/mlsql)语法补全。
用户2936994
2022-04-25
1K0
Byzer UDF 函数开发指南
动态 UDF的使用最简单,用户可以使用 Byzer 的 register 语句将一段 Scala/Java 代码注册成 UDF.
用户2936994
2022-04-07
9880
写出漂亮的代码-前言篇
写出具有美感的代码是很难的,需要经验以及足够的耐心。我计算机科班出生,05年开始学习写代码,真正开始以写代码吃饭是08年开始,写了整整11年多了。然而近来倍感自己的代码仅仅是能Work,就如很多PC主机里,可以运行的很好,但是打开机箱一看,里面的线很凌乱,看着就让人觉得是一种负担,所以开了这个专栏,也是能够让自己正视这个问题,并且鞭策自己,无论多忙,都有一个要美的心。
用户2936994
2022-01-07
4120
为什么需要一个聪明且强势的编译器
我从2005年开始学习编程。到现在为止的这段期间,我已经使用了非常多的语言。包括C, Java, Ruby,JavaScript, Groovy, Scala.
用户2936994
2019-08-06
5460
用MLSQL完成简书图片备份
我今天正好想做两个事,第一个是,我想把我简书内容备份下来,但是官方提供的备份功能只能备份成markdown,然后发现图片没办法备份。所以我需要把我简书里的所有图片下载下来。
用户2936994
2019-04-01
4360
Spark之殇
之前Spark 2.0 刚发布不久后的第一个小版本,Structured Streaming 终于支持Kafka了,但是只支持Kafka 1.0 而不支持Kafka 0.8。用Spark的开发可是没办法决定基础设施Kafka的版本的,而且你知道在一个业务成熟的公司更换这种如此重要的基础设置的版本的阻力和风险有多大么?这简直让我们这些渴望能体验Spark新功能的痛心疾首。
用户2936994
2018-08-27
3600
StreamingPro添加Scala script 模块支持
SQL 在解析字符串方面,能力还是有限,因为支持的算子譬如substring,split等有限,且不具备复杂的流程表达能力。我们内部有个通过JSON描述的DSL引擎方便配置化解析,然而也有一定的学习时间成本。
用户2936994
2018-08-27
6950
如何做Spark 版本兼容
同理对应的Vectors object 也是。这就造成了一个比较大的困难,比如下面的代码就很难做到兼容了,切换Spark就无法通过编译:
用户2936994
2018-08-27
9320
使用Spark SQL构建交互式查询引擎
StreamingPro 原来仅仅是用来作为Spark Streaming的一个配置化+SQL封装,然而不经意间,已经涵盖了批处理,交互式查询等多个方面。今天就讲讲如何使用StreamingPro构建一个交互式查询引擎。
用户2936994
2018-08-27
2.2K0
五分钟为HTTP接口提供Java/Scala SDK
我现在要使用yarn的两个接口,一个是application 列表,一个是根据appId获取这个app的详情。对应的接口大约如此:
用户2936994
2018-08-27
4780
Kafka Zero-Copy 使用分析
Kafka 我个人感觉是性能优化的典范。而且使用Scala开发,代码写的也很漂亮的。重点我觉得有四个
用户2936994
2018-08-27
1.2K0
Spark UI (基于Yarn) 分析与定制
有时候我们希望能对Spark UI进行一些定制化增强。并且我们希望尽可能不更改Spark的源码。为了达到此目标,我们会从如下三个方面进行阐述:
用户2936994
2018-08-27
8080
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档