祝威廉

162 篇文章
34 人订阅

全部文章

用户2936994

SQL还是那个SQL么?

今天MLSQL群里有个小伙伴问到,能把Spark, Flink 这些框架运行在黑莓上么? 我回答道:可以作为一个内置SQL计算引擎嵌入(不是数据库),其他可能...

30
用户2936994

React问题三则

这两天在用 Blueprint+React+ServiceFramework+MySQL 为主要组件开发一个小玩具,由衷的喜欢React了。为啥呢?非常后端,其...

321
用户2936994

MLSQL拥抱BigDL,轻轻松松无编码玩深度学习

原谅我,前半句是真的,后半句是噱头,但是真的很简化了。 MLSQL已经有一个相对来比较完善的Python Runtime,细节可以参看这篇文章,所以玩深度学习是...

822
用户2936994

MLSQL 对Python的支持之路

Python是做机器学习框架一定要支持的。MLSQL很早就支持集成Python脚本做模型的训练和预测。

823
用户2936994

如何使用MLSQL中的帮助指令学习模块的使用

MLSQL 已经实现了文章中描述的功能 如何实现语法的自解释(MLSQL易用性设计有感) 。

744
用户2936994

如何实现语法的自解释(MLSQL易用性设计有感)

突然想明白了一件事, 语法应该是自解释的。什么意思呢,就是用户需要有一个学习语法的语法,而这个语法应该极度简单,他只要花上一分钟,甚至依靠直觉就能知道怎么用,透...

783
用户2936994

如何实现AutoML--让机器先做出Baseline

我之前写过一篇如何实现AutoML -- 先Auto每个环节,大致思路是让机器先自动化每一个小环节,每个环节输出唯一一个结果,这样可以极大的简化搜索空间。比如我...

641
用户2936994

如何用MLSQL快速调试Structured Streaming程序

早上对Structured Streaming 的window函数, Output Mode 以及Watermark有些疑惑的地方。Structured Str...

681
用户2936994

如何按程序员思维写分析师脚本

今天无意在在某群里,看到一个很复杂的SQL脚本,join很多,子查询很多,union很多,case when也很多。然后就让我们负责分析师脚本管理的同事给我看了...

924
用户2936994

为什么需要效率督查团队

上周和杭州某司同学面基,发现我们两同一年毕业,同一年出生,还是老乡,真是颇感意外。本来约好了是聊技术的,结果硬生生的聊成了如何提高团队效率的心得交流会。

852
用户2936994

对Spark的那些【魔改】

这两年做streamingpro时,不可避免的需要对Spark做大量的增强。就如同我之前吐槽的,Spark大量使用了new进行对象的创建,导致里面的实现基本没有...

911
用户2936994

谷歌BigQuery ML VS StreamingPro MLSQL

今天看到了一篇 AI前线的文章谷歌BigQuery ML正式上岗,只会用SQL也能玩转机器学习!。正好自己也在力推 StreamingPro的MLSQL。 今...

933
用户2936994

MLSQL是如何集成TensorFlow Cluster的

我们知道MLSQL支持SKLearn,TF等流行的算法框架,不过虽然支持了多个实例同时运行,但其实每个模型都需要跑全部数据。有的时候数据太大,确实是个问题,所以...

421
用户2936994

Web后端工程师应该拥抱前端了

大数据部发展到一定的阶段,无论是内部体系的完善,还是服务能力对外的暴露,对web端交互能力都有极大的需求,所以对web研发的诉求其实也是非常大的。

652
用户2936994

是时候丢掉Spark Streaming 升级到Structured Streaming了

又是一个超长的标题(摊手┓( ´∀` )┏)。Spark Streaming 历史比较悠久,也确实非常好用,更重要的是,大家已经用熟了,有的还做了不少工具了,所...

551
用户2936994

Spark团队新作MLFlow 解决了什么问题

中午的时候看到了Spark团队新作MLFlow,因为我本身也在做类似的解决方案MLSQL,自然要看看Meitai是怎么做的。所以第一时间把MLFlow相关文档 ...

762
用户2936994

数据部门如何All In AI

通常,大数据部门会花费很大的力气构建数据平台,而这个数据平台除了能让研发,算法,分析师等角色爽一些,从宏观角度很大的节省部门人力成本,提高效率以外,似乎对公司/...

752
用户2936994

【短文】Spark危机与机遇杂谈

昨天发了一篇文章Spark团队新作MLFlow 解决了什么问题 描述了我对MLFlow的一些看法,现在想来,Spark团队是非常聪明的,AI同学都有自己的社区,...

482
用户2936994

MLSQL解决了什么问题

MLSQL提供了一套SQL的超集的DSL语法MLSQL,数据处理,模型训练,模型预测部署等都是以MLSQL语言交互,该语言简单易懂,无论算法,分析师,甚至运营都...

922
用户2936994

Spark 2.3.0 如何处理图片以及存在的一些问题

因为需要在MLSQL里开发一个图片处理模块(以及配套数据源),使用上大概是这样子的:

662

扫码关注云+社区