首页
学习
活动
专区
工具
TVP
发布

Hadoop实操

专注Apache Hadoop,CDH和HDP的实操,如安装部署,安全配置,排障过程,经验分享,性能
专栏作者
970
文章
2354911
阅读量
704
订阅数
0879-7.1.7-如何在CDP安装NVIDIA Tesla T4并使用RAPIDS加速
本文作者:BYD信息中心-数据中心管理部-董睿 进入正文之前先打一个小广告,手动狗头 比亚迪西安研发中心(与深圳协同办公),base西安,招聘大数据平台运维、架构方向的工程师,实时计算方向工程师,感兴趣的小伙伴请投递简历至dong.rui@byd.com 1.文档编写目的 RAPIDS 全称是Real-time Acceleration Platform for Integrated Data Science,是 NVIDIA 针对数据科学和机器学习推出的 GPU 加速库,RAPIDS的推出其实是为了弥补G
Fayson
2022-04-28
8690
0835-5.16.2-如何按需加载Python依赖包到Spark集群
在开发Pyspark代码时,经常会用到Python的依赖包。在PySpark的分布式运行的环境下,要确保所有节点均存在我们用到的Packages,本篇文章主要介绍如何将我们需要的Package依赖包加载到我们的运行环境中,而非将全量的Package包加载到Pyspark运行环境中,本篇文章以xgboost1.0.2包为例来介绍。
Fayson
2021-04-30
3K0
0815-CML中的模型共享和MLOps简介
如今机器学习(ML)的应用门槛大大降低,在许多组织许多项目中的使用越来越普遍。但是在模型投产之后,仍会有许多意想不到的挑战。许多企业已成功地将最初的少数模型投入生产,但仍然在努力简化、扩展和优化模型的部署和管控方式,从而在其业务的每个单元中服务于数量越来越多的机器学习场景和用例。事实证明,机器学习最困难的部分实际上不是开始的建模和训练,而是最后一公里:在生产应用程序中有效部署、操作和管控机器学习模型。这最后一公里的挑战可分为三大类:
Fayson
2020-11-03
8130
0511-正式合并完成后Cloudera推出新的大数据平台CDP
Cloudera在今天主要阐述了将要推出的统一旗舰产品CDP(Cloudera Data Platform),它也是Cloudera新兴的“企业数据云”战略的核心。同时宣布的还有他们将继续支持现有的CDH和HDP平台一直到2022年,同时在这3年对现有的产品还会进行交叉组合。
Fayson
2019-11-28
1.4K0
0499-如何使用潜水艇在Hadoop之上愉快的玩耍深度学习
Hadoop是时下最流行的企业级开源大数据平台技术,你可以将它部署在本地,也可以部署在云端。而深度学习,对于企业用户来说举几个简单的例子,常见的场景包括语音识别,图像分类,AI聊天机器人或者机器翻译。为了训练深度学习/机器学习模型,我们可以利用TensorFlow/MXNet/Pytorch/Caffe/XGBoost等框架。有时这些框架也会被一起使用用于解决不同的问题。
Fayson
2019-11-27
8280
Zeppelin: 让大数据插上机器学习的翅膀
导语:在数字化、智能化的时代,通过机器学习(Machine Learning)能够强有力的补充 Hadoop 大数据系统的数据处理能力,充分挖掘大数据的核心价值,一款好的算法开发平台能够让企业事半功倍,快速的进行算法实验和生产使用,Apache Zeppelin 就是这样一个兼具了 Hadoop 大数据处理和 机器学习/深度学习算法交互式开发的开源系统。
Fayson
2019-06-28
2.3K0
0462-Hadoop和大数据要完蛋了吗?
几个星期以前,Hadoop时代的两大巨头Cloudera和Hortonworks宣布他们将合并。该公告声称这将是“merger of equals(平等的合并)”。看到这两个开创性的先驱能走到一起是非常有趣的。
Fayson
2018-12-17
5631
什么是sparklyr
我们(RStudio Team)今天很高兴的宣布一个新的项目sparklyr(https://spark.rstudio.com),它是一个包,用来实现通过R连接Apache Spark。
Fayson
2018-03-29
2.2K0
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档