腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据和云计算技术
专栏成员
举报
298
文章
456213
阅读量
101
订阅数
订阅专栏
申请加入专栏
全部文章(298)
大数据(78)
其他(47)
数据库(41)
https(33)
hbase(33)
网络安全(31)
spark(31)
sql(30)
mongodb(26)
存储(26)
编程算法(20)
nosql(18)
数据分析(16)
开源(13)
云数据库 MongoDB(12)
分布式(12)
hadoop(12)
云计算(10)
TDSQL MySQL 版(9)
安全(9)
apache(8)
人工智能(8)
数据处理(8)
hive(7)
kerberos(7)
数据结构(7)
linux(6)
yarn(6)
kafka(6)
机器学习(5)
java(5)
云数据库 SQL Server(5)
云数据库 Redis(5)
微信(5)
虚拟化(5)
Elasticsearch Service(5)
硬件开发(4)
容器镜像服务(4)
容器(4)
推荐系统(4)
微服务(4)
python(3)
node.js(3)
html(3)
arm(3)
api(3)
深度学习(3)
知识图谱(3)
devops(3)
运维(3)
二叉树(3)
物联网(3)
系统架构(3)
云服务器(2)
NLP 服务(2)
数据挖掘(2)
github(2)
spring(2)
mapreduce(2)
serverless(2)
缓存(2)
数据迁移(2)
卷积神经网络(2)
openstack(2)
zookeeper(2)
数据可视化(2)
mqtt(2)
费用中心(1)
自动驾驶(1)
c++(1)
go(1)
css(1)
ide(1)
git(1)
maven(1)
搜索引擎(1)
unix(1)
文件存储(1)
cdn 边缘计算(1)
网站(1)
DevOps 解决方案(1)
电商(1)
企业(1)
http(1)
自动化(1)
erp(1)
mybatis(1)
spring boot(1)
hashmap(1)
敏捷开发(1)
kernel(1)
windows(1)
fpga(1)
任务调度(1)
5g(1)
迁移(1)
es(1)
数据集成(1)
it(1)
nvidia(1)
ode(1)
scrum(1)
公有云(1)
互联网(1)
敏捷(1)
搜索文章
搜索
搜索
关闭
Docker和hadoop
容器镜像服务
hadoop
yarn
node.js
大数据
Docker很热,怎么形容?感觉开源除了spark技术,就是docker了,甚至把Go语言也带火了,把Go在TIOBE的排名从百名外带入主流语言的行列。 Docker快成救世主了,这么牛逼的技术,docker和hadoop碰撞出什么火花来呢,是不是得赶紧用上呢? 就不介绍具体什么是docker了,不是一门全新的技术,是基于LXC的高级容器引擎,从linux内核发展出来的轻量隔离技术。相比单纯的隔离,核心是标准化了镜像打包,部署和发布这个过程,相当于标准化了开发过程。就运行态来说,相比VM,核心优势就是轻量,
大数据和云计算技术
2018-03-08
1.5K
0
hadoop运行环境搭建
hadoop
hive
yarn
分布式
linux
森哥/洋哥hadoop系列,非常适合初学者: Hive 元数据表结构详解 HDFS学习:HDFS机架感知与副本放置策略 Yarn【label-based scheduling】实战总结(二) Yarn
大数据和云计算技术
2018-03-08
1.8K
0
HDFS学习:HDFS机架感知与副本放置策略
yarn
hadoop
洋哥YARN和HDFS实践系列大作,这是第三篇,前面两篇分别是: Yarn【label-based scheduling】实战总结(二) Yarn【label-based scheduling】实战总结(一) 1.1 机架感知(RackAwareness)概述 通常,大型Hadoop集群会分布在很多机架上。在这种情况下, -- 希望不同节点之间的通信能够尽量发生在同一个机架之内,而不是跨机架。 -- 为了提高容错能力,名称节点会尽可能把数据块的副本放到多个机架上。 综合考虑这两点的基础上Hadoop
大数据和云计算技术
2018-03-08
5.2K
1
Yarn【label-based scheduling】实战总结(二)
yarn
java
apache
洋哥实践大作。 1.1 Label-based scheduling实战问题汇总 1.1.1 ClassNotFoundException 问题现象,执行yarnrmadmin –refreshQueues命令时报以下错误: java.lang.ClassNotFoundException:Class org.apache.hadoop.yarn.server.resourcemanager.scheduler.apacity.sharingpolicy.ConfigurablePartitionsExte
大数据和云计算技术
2018-03-08
1.9K
0
浅谈资源管理技术的未来发展之路
yarn
关于资源管理业界主要框架,大家可以看我前面的文章。资源管理框架(mesos/YARN/coraca/Torca/Omega)选型分析。业界当前最典型的就是YARN和MESOS,各自有支持者。 YARN和MESOS基本原理和框架类似,都是二层调度的思路,将集群的资源统一拿出来单独管理,在框架的本身上在构建应用,应用负责任务的创建,调度,框架本身负责资源的分配。可以说当前资源管理框架主要做到了两个基本点: 1、分:集群资源统一管理,根据应用进行分配。YARN上有从hadoop 1.0继承过来的Fair Sche
大数据和云计算技术
2018-03-08
900
0
资源管理框架(mesos/YARN/coraca/Torca/Omega)分析
任务调度
yarn
node.js
hadoop
容器
1 资源调度的目标和价值 1.1 子系统高效调度 任务之间资源隔离,减少争抢。 任务分配调度时结合资源分配,各个任务分配合理的资源,充分利用系统资源,减少资源利用不充分的问题。 资源调度结合优先级,优先级高的分配更多的资源。 1.2 提高全系统的资源利用率 各个子系统,存在不同时期,对资源需求不一样的情况,平滑系统资源的利用。 1.3 支持动态调整切分资源,增强系统扩展性。 系统对资源的规划很难一次性准确,通过mesos支持虚拟主机的方式,动态扩展。 2 资源调度使用限制以及难点 2.1 资源调度使用限制
大数据和云计算技术
2018-03-07
2.3K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档