腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
祝威廉
专栏成员
举报
308
文章
212611
阅读量
45
订阅数
订阅专栏
申请加入专栏
全部文章(308)
sql(105)
spark(71)
其他(68)
编程算法(42)
python(30)
api(25)
大数据(24)
机器学习(19)
数据库(17)
java(16)
存储(16)
scala(15)
深度学习(14)
开源(14)
人工智能(13)
json(12)
分布式(11)
html(10)
云数据库 SQL Server(10)
神经网络(9)
容器(9)
hbase(9)
网站(8)
http(8)
数据处理(8)
数据湖(8)
容器镜像服务(7)
yarn(7)
运维(7)
apache(6)
es 2(6)
hive(6)
jdbc(6)
https(6)
kafka(6)
对象存储(5)
负载均衡(5)
ide(5)
缓存(5)
网络安全(5)
微信(5)
tensorflow(4)
jar(4)
文件存储(4)
TDSQL MySQL 版(4)
推荐系统(4)
react(3)
node.js(3)
xml(3)
git(3)
github(3)
linux(3)
负载均衡缓存(3)
zookeeper(3)
markdown(3)
rpc(3)
数据分析(3)
commit(3)
javascript(2)
bash(2)
云数据库 Redis(2)
打包(2)
nginx(2)
bash 指令(2)
访问管理(2)
kubernetes(2)
shell(2)
jvm(2)
sql server(2)
数据结构(2)
系统架构(2)
parquet(2)
upsert(2)
部署(2)
官方文档(1)
自动驾驶(1)
c++(1)
php(1)
ruby(1)
硬件开发(1)
maven(1)
spring(1)
mapreduce(1)
mongodb(1)
电商(1)
企业(1)
云数据仓库 PostgreSQL(1)
自动化(1)
无人驾驶(1)
jdk(1)
面向对象编程(1)
线性回归(1)
keras(1)
cdn(1)
安全(1)
机器人(1)
openapi(1)
腾讯云开发者社区(1)
云计算(1)
任务调度(1)
特征工程(1)
sdk(1)
es(1)
allocation(1)
csv(1)
curl(1)
join(1)
mysql(1)
overwrite(1)
package(1)
pool(1)
rename(1)
tar(1)
工作(1)
模型(1)
数据(1)
索引(1)
研发(1)
搜索文章
搜索
搜索
关闭
如何将Python算法模型注册成Spark UDF函数实现全景模型部署
sql
python
深度学习
java
> 本文作者来自MLSQL社区 & Kyligence 机器学习平台工程师 Andie Huang
用户2936994
2022-07-21
768
0
给大家引荐下我的开源项目【们】
github
git
开源
java
sql
效率在我看来是至关重要的。关于我对效率的理解,还可以看看我这篇文章 【抖音短文】痛点不能驱动一切,效率驱动才是
用户2936994
2022-07-21
411
0
大数据平台和AI平台应该如何整合
sql
大数据
数据处理
python
java
大数据和AI两者最核心的部分都是数据。大数据的主要工作是对数据进行各种转换和存储。而AI的主要工作是学习数据并且得出模型。 AI天然需要大数据的基础,因为AI需要各种形态的数据,而我们得到这些形态的数据,必然离不开大数据。就此而言,他们两个合在一起,才是一个完整的工作流。
用户2936994
2022-07-21
1.1K
0
Ray进程布局一览
云数据库 Redis
python
spark
yarn
java
可能标题有点让人困惑,其实我是想知道,在一个标准的ray集群,到底都有哪些进程存在。比如spark运行在yarn上,那么整个物理集群上会有如下几类进程:
用户2936994
2022-07-21
557
0
Byzer UDF 函数开发指南
jar
scala
python
java
动态 UDF的使用最简单,用户可以使用 Byzer 的 register 语句将一段 Scala/Java 代码注册成 UDF.
用户2936994
2022-04-07
1K
0
为什么需要一个聪明且强势的编译器
ide
scala
java
编程算法
我从2005年开始学习编程。到现在为止的这段期间,我已经使用了非常多的语言。包括C, Java, Ruby,JavaScript, Groovy, Scala.
用户2936994
2019-08-06
565
0
Rust FFI 实践
编程算法
java
部门算法团队开始成长起来,开始有越来越多的尝试以及成果,但是现在工程方面严重的限制了(主要是做预测服务)他们的研究成果转化为实际输出的能力。去年下半年,我们就发现TF官方的Java binding 存在严重的内存泄露问题,而TF Java binding 因为封装包括训练和预测所需要的API,比较复杂,我们也难以更改。同时,使用TF serving,就需要提供标准的RPC调用来完成交互,而所有的数据处理等工作都是在Java端,这也对运维模式产生一定的压力,毕竟要维护serving集群,研发工程师要对接serving才能完成一个端到端的预测。
用户2936994
2019-05-06
1.1K
0
PySpark 通过Arrow加速
spark
java
python
PySpark是Spark 实现 Unify BigData && Machine Learning目标的基石之一。通过PySpark,我们可以用Python在一个脚本里完成数据加载,处理,训练,预测等完整Pipeline,加上DB良好的notebook的支持,数据科学家们会觉得非常开心。当然缺点也是有的,就是带来了比较大的性能损耗。
用户2936994
2019-02-27
1.9K
0
ServiceFramework作为Java Web框架都有哪些不错的设计
数据库
sql
http
java
最近需要开发一个纯API的项目,mlsql-cluster,从无到有,到最后完整的proxy功能开发完毕,只花了四个小时不到,自己不尽小感叹了一把 ServiceFramework的高效。
用户2936994
2019-02-25
682
0
如何按程序员思维写分析师脚本
sql
html
java
react
python
今天无意在在某群里,看到一个很复杂的SQL脚本,join很多,子查询很多,union很多,case when也很多。然后就让我们负责分析师脚本管理的同事给我看了下我们分析师的脚本,我发现随便一个竟然都超了三四百行。这脚本维护起来应该是个噩梦。如果要让一个东西好维护,好管理,那一定需要项目化,如何项目化一个脚本呢?
用户2936994
2018-09-29
475
0
对Spark的那些【魔改】
spark
apache
java
这两年做streamingpro时,不可避免的需要对Spark做大量的增强。就如同我之前吐槽的,Spark大量使用了new进行对象的创建,导致里面的实现基本没有办法进行替换。
用户2936994
2018-08-27
631
0
Web后端工程师应该拥抱前端了
大数据
java
大数据部发展到一定的阶段,无论是内部体系的完善,还是服务能力对外的暴露,对web端交互能力都有极大的需求,所以对web研发的诉求其实也是非常大的。
用户2936994
2018-08-27
352
0
如何在Java应用里集成Spark MLlib训练好的模型做预测
java
spark
spring
昨天媛媛说,你是不是很久没写博客了。我说上一篇1.26号,昨天3.26号,刚好两个月,心中也略微有些愧疚。今天正好有个好朋友问,怎么在Java应用里集成Spark MLlib训练好的模型。在StreamingPro里其实都有实际的使用例子,但是如果有一篇文章讲述下,我觉得应该能让更多人获得帮助
用户2936994
2018-08-27
1.2K
0
程序员效率的奥义
ruby
java
这套Web框架就是ServiceFramework。自己现在很多开源项目也都是基于这套Web框架是做的。比如StreamingPro编译的时候依赖的Web库是ServiceFramework,配置引擎则是ServiceframeworkDispatcher,都是自己非常常用的工具。
用户2936994
2018-08-27
395
0
Spark Streaming 数据清理机制
spark
jvm
java
为啥要了解机制呢?这就好比JVM的垃圾回收,虽然JVM的垃圾回收已经巨牛了,但是依然会遇到很多和它相关的case导致系统运行不正常。
用户2936994
2018-08-27
1.2K
0
五分钟为HTTP接口提供Java/Scala SDK
java
scala
spark
我现在要使用yarn的两个接口,一个是application 列表,一个是根据appId获取这个app的详情。对应的接口大约如此:
用户2936994
2018-08-27
505
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档