腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
SAMshare
专栏作者
举报
271
文章
292672
阅读量
38
订阅数
订阅专栏
申请加入专栏
全部文章（271）
编程算法（114）
机器学习（83）
神经网络（68）
深度学习（67）
人工智能（52）
python（45）
https（39）
网络安全（33）
数据分析（18）
sql（15）
linux（15）
决策树（15）
大数据（14）
github（13）
spark（11）
数据库（8）
bash（7）
apache（7）
腾讯云测试服务（7）
hadoop（7）
数据结构（7）
git（6）
api（6）
mapreduce（6）
文件存储（6）
开源（6）
正则表达式（6）
数据处理（6）
特征工程（6）
java（5）
numpy（5）
windows（5）
数据挖掘（4）
css（4）
http（4）
监督学习（4）
NLP 服务（3）
javascript（3）
node.js（3）
html（3）
unix（3）
批量计算（3）
容器（3）
分布式（3）
推荐系统（3）
scikit-learn（3）
c 语言（2）
c++（2）
scala（2）
matlab（2）
bash 指令（2）
spring（2）
访问管理（2）
网站（2）
日志数据（2）
金融风控（2）
自动化（2）
卷积神经网络（2）
线性回归（2）
keras（2）
自动化测试（2）
pytorch（2）
markdown（2）
无监督学习（2）
数据可视化（2）
聚类算法（2）
precision（2）
target（2）
模型（2）
云镜（主机安全）（1）
语音识别（1）
其他（1）
官方文档（1）
go（1）
xml（1）
单片机（1）
云数据库 SQL Server（1）
nosql（1）
打包（1）
ide（1）
vba（1）
全文检索（1）
ubuntu（1）
容器镜像服务（1）
日志服务（1）
TAPD 敏捷项目管理（1）
知识图谱（1）
图像处理（1）
企业（1）
vr 视频解决方案（1）
yarn（1）
存储（1）
shell（1）
jdk（1）
ssh（1）
hive（1）
grep（1）
二叉树（1）
tcp/ip（1）
kernel（1）
微信（1）
腾讯云开发者社区（1）
processing（1）
敏感数据处理（1）
kafka（1）
unicode（1）
项目管理（1）
area（1）
break（1）
class（1）
curve（1）
dp（1）
dt（1）
email（1）
excel（1）
for循环（1）
goto（1）
kaggle（1）
lift（1）
list（1）
member（1）
pdf（1）
position（1）
pyspark（1）
time（1）
产品经理（1）
公众号（1）
函数（1）
集合（1）
监控（1）
可视化（1）
面试（1）
数据（1）
统计（1）
搜索文章
搜索
搜索
关闭
一起揭开 YARN 的神秘面纱
yarn
node.js
容器
mapreduce
我们知道MapReduce1.0，是把计算框架和资源调度框架都弄在一起了，所以Master端的JobTracker会大包大揽去执行任务，存在很多问题，比如资源分配不均、单点故障会导致整个集群不可用、没办法集成多个不同的计算框架（比如Spark、Storm）。因此，YARN的设计思路就是把原先JobTracker的资源管理调度和监控的功能剥离出来，在YARN中实现，而MapReduce2.0仅仅就是做计算框架的事情。同时，YARN还可以兼容搭建多个不同的计算框架，实现同一个集群内资源和数据的共享。
Sam Gor
2021-10-19
458
0
一起揭开 Hive 编程的神秘面纱
hive
hadoop
sql
大数据
mapreduce
Hadoop实现了一个特别的计算模型，就是MapReduce，可以将我们的计算任务分拆成多个小的计算单元，然后分配到家用或者服务器级别的硬件机器上，从而达到降低成本以及可扩展的问题，在这个MapReduce计算模型底下，有一个分布式文件系统（HDFS），在支持分布式计算上极其重要。
Sam Gor
2021-09-29
483
0
一文带你搞清楚什么是“数据倾斜”
mapreduce
编程算法
hadoop
我们在用hive取数的时候，有的时候只是跑一个简单的join语句，但是却跑了很长的时间，有的时候我们会觉得是集群资源不够导致的，但是很大情况下就是出现了"数据倾斜"的情况。
Sam Gor
2019-10-08
774
0
BigData |述说Apache Spark
spark
apache
mapreduce
api
hadoop
Spark是一个Apache项目，被标榜为"Lightning-Fast"的大数据处理工具，它的开源社区也是非常活跃，与Hadoop相比，其在内存中运行的速度可以提升100倍。Apache Spark在Java、Scale、Python和R语言中提供了高级API，还支持一组丰富的高级工具，如Spark SQL（结构化数据处理）、MLlib（机器学习）、GraphX（图计算）、SparkR（统计分析）以及Spark Streaming（处理实时数据）。
Sam Gor
2019-08-21
669
0
BigData | 一文带你搞清楚"数据倾斜"（上）
mapreduce
编程算法
hadoop
sql
我们在用hive取数的时候，有的时候只是跑一个简单的join语句，但是却跑了很长的时间，有的时候我们会觉得是集群资源不够导致的，但是很大情况下就是出现了"数据倾斜"的情况。
Sam Gor
2019-08-21
826
0
BigData | 一文带你搞清楚"数据倾斜"
mapreduce
编程算法
hadoop
我们在用hive取数的时候，有的时候只是跑一个简单的join语句，但是却跑了很长的时间，有的时候我们会觉得是集群资源不够导致的，但是很大情况下就是出现了"数据倾斜"的情况。
Sam Gor
2019-07-08
663
0
没有更多了
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档