腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
about云
专栏成员
举报
216
文章
329706
阅读量
58
订阅数
订阅专栏
申请加入专栏
全部文章(216)
spark(40)
大数据(37)
hadoop(32)
其他(22)
编程算法(19)
sql(18)
apache(17)
人工智能(17)
bash(13)
yarn(13)
机器学习(12)
数据库(12)
存储(11)
shell(11)
hive(10)
php(9)
bash 指令(9)
https(9)
http(8)
开源(8)
区块链(7)
数据挖掘(7)
scala(7)
node.js(7)
安全(7)
hbase(7)
kafka(7)
api(6)
网络安全(6)
数据分析(6)
xml(5)
linux(5)
容器(5)
java(4)
html(4)
神经网络(4)
深度学习(4)
TDSQL MySQL 版(4)
分布式(4)
zookeeper(4)
微信(4)
架构设计(4)
flink(4)
面试(4)
git(3)
企业(3)
openstack(3)
数据处理(3)
chatgpt(3)
比特币(2)
自动驾驶(2)
qt(2)
云数据库 SQL Server(2)
ide(2)
unix(2)
容器镜像服务(2)
mapreduce(2)
图像处理(2)
网站(2)
kubernetes(2)
游戏(2)
缓存(2)
jdk(2)
ssh(2)
erp(2)
推荐系统(2)
tcp/ip(2)
windows(2)
数据可视化(2)
物联网(2)
数据结构(2)
系统架构(2)
微服务(2)
com(2)
gpt(2)
it(2)
工作(2)
数据(2)
对象存储(1)
tensorflow(1)
python(1)
go(1)
r 语言(1)
json(1)
android(1)
oracle(1)
nosql(1)
云数据库 Redis(1)
eclipse(1)
github(1)
maven(1)
搜索引擎(1)
ubuntu(1)
windows server(1)
批量计算(1)
文件存储(1)
短视频(1)
日志数据(1)
金融(1)
运维(1)
爬虫(1)
无人驾驶(1)
hashmap(1)
监督学习(1)
线性回归(1)
ddos(1)
iis(1)
无监督学习(1)
机器人(1)
nat(1)
云计算(1)
数据湖(1)
教育(1)
bug(1)
coding(1)
dataframe(1)
overflow(1)
paypal(1)
server(1)
show(1)
sqoop(1)
stack(1)
streaming(1)
编程(1)
编程语言(1)
程序员(1)
翻译(1)
公众号(1)
行业(1)
互联网(1)
华为(1)
技巧(1)
架构(1)
解决方案(1)
开发者(1)
科技(1)
求职(1)
软件开发(1)
搜索(1)
腾讯(1)
项目经理(1)
异常(1)
搜索文章
搜索
搜索
关闭
Flink实战之网站日志ETL案例【含代码】
kafka
日志数据
yarn
node.js
云数据库 Redis
问题导读 1.怎样对字段进行大区转换? 2.怎样拆分打平大JSON? 3.怎样把不同类型的日志数据分别进行存储? 应用场景: 数据清洗【实时ETL】 数据报表 1、数据清洗【实时ETL】
用户1410343
2020-11-05
804
0
Hadoop3.3新版本发布【整合了腾讯云】
yarn
hadoop
缓存
http
容器
问题导读 1.Hadoop3.3支持JDK哪个版本? 2.SCM是什么? 3.YARN应用程序做了哪些改进? 4.整合腾讯云实现了什么文件系统? 1.支持ARM 这是第一个支持ARM的版本。 2.Protobuf从2.5.0升级到新版本 Protobuf从2.5.0升级到3.7.1 3.支持Java11 支持Java11 4.支持模拟AuthenticationFilter过滤器 外部服务或YARN服务可能需要根据使用Web协议的用户行为来调用WebHDFS或YARN REST API。最好在AuthenticationFilter或类似的扩展中支持模拟机制。
用户1410343
2020-07-31
977
0
hadoop入门:第六章YARN文档概述
http
html
容器
yarn
node.js
1.YARN 结构 文档简介: Yarn的基本思想是拆分资源管理的功能,作业调度/监控到单独的守护进程 英文网址: http://hadoop.apache.org/docs/r2.7.
用户1410343
2018-03-27
923
0
Hadoop2.x 让你真正明白yarn
yarn
node.js
http
hadoop
php
问题导读 1.hadoop1.x中mapreduce框架与yarn有什么共同点? 2.它们有什么不同点? 3.yarn中有哪些改变? 4.yarn中有哪些术语? 原文:about云日志分析项
用户1410343
2018-03-27
1.2K
0
让你真正理解什么是SparkContext, SQLContext 和HiveContext
spark
sql
hive
yarn
问题导读 1.你认为SparkContext的作用是什么? 2.SQLContext 和HiveContext的区别是什么? 3.SQLContext、HiveContext与SparkContext的区别是什么? 第一步spark driver 应用程序创建SparkContext,SparkContext 允许spark driver 应用程序通过资源管理器访问集群。资源管理器可以是Yarn,或则spark集群管理器。为了创建SparkContext,你可以第一步创建SparkConf,Spa
用户1410343
2018-03-27
3.2K
0
各个版本Linux单节点伪分布安装CDH5.1.X及提交wordcount到yarn高可靠文档
yarn
问题导读: 1.安装cdh5伪分布配置文件在什么位置? 2.不同的操作系统,cdh5的安装过程都包含哪些流程? 3.在yarn上运行wordcount都需要哪些准备? 4.CDH5是如何安装的? 简介: 如果安装过Cloudera Manager5,我们可能会知道,这个安装还是比较曲折的,因为一旦网络中断,那么我们的安装失败率还是比较高的。如果我们只想了解CDH,我们安装CDH5.CDH5该如何安装,而它的安装确实比hadoop要简单些,我们这里介绍单节点伪分布安装及如何在yarn上运行word
用户1410343
2018-03-27
660
0
hadoop3.0可用【 GA】版发布与alpha1版比较有哪些不同
hadoop
yarn
问题导读 1.容器新增加了哪个概念? 2.Opportunistic类型容器有什么特点? 3.为何说Opportunistic类型容器提高集群效率? 4.hadoop3.0,可以通过什么方式来配置Capacity 调度? 5.yarn资源类型除了cpu和内存,还可以自定义哪些类型? Shaded client jars 解决了依赖冲突问题 hadoop2.x中所有依赖都添加到应用程序环境变量,这样有可能造成应用程序依赖与hadoop依赖冲突。HADOOP-11804添加了新的 hadoop-cli
用户1410343
2018-03-26
758
0
hadoop3.0 Yarn支持网络资源:network原理设计文档说明【中文】
hadoop
yarn
问题导读 1.网络作为Yarn的资源,有什么好处? 2.Yarn是否只支持调度和强制执行“传出流量”? 3.Yarn是否支持入口流量? 4.DistributedShell是否可以让用户指定网络带宽
用户1410343
2018-03-26
1.1K
0
Hadoop3.0: YARN Resource配置说明
yarn
xml
人工智能
问题导读 1.yarn默认情况下使用哪些资源? 2.Yarn如何实现扩展自定义资源? 3.自定义资源,可以在哪个配置文件中配置? 4.哪些配置可以在yarn-site.xml文件或则 resource-types.xml文件配置? 5.yarn有哪三种Containers? 6.三种Container如何配置请求的CPU,memory等值? 1.概述 yarn支持可扩展资源类型.所有节点、应用程序、队列,默认情况下Yarn使用 CPU和内存。资源定义可以扩展为任意的“countable”资源。一个cou
用户1410343
2018-03-26
3.1K
0
Hadoop3.0集群安装知识
yarn
xml
问题导读 1.本文是如何定义master的? 2.如何配置hadoop守护进程环境? 3.配置Hadoop守护进程需要哪些配置文件? 4.yarn-site配置文件,主要配置哪两个进程? 5.mapred-site.xml配置文件,配置哪些内容? 6.hadoop如何配置监测NodeManagers的健康状况? 7.hadoop3.0slaves做了什么更改? 8.如何单独启动DataNode? 9.访问hadoop web界面都有哪些接口? 目的 本文档介绍如何安装和配置Hadoop集群,从少数节点到数
用户1410343
2018-03-26
1.3K
0
Hadoop3.0通用版集群安装高可靠详细教程
yarn
php
人工智能
问题导读 1.hadoop3.x检测虚拟内存的情况下,可能会产生什么问题? 2.hadoop3.x中,下面各个配置的作用是什么? 3.dfs.blocksize可以使用哪些单位? hadoop
用户1410343
2018-03-26
1.2K
0
扩展Yarn资源模型详解1
xml
yarn
shell
bash
bash 指令
问题导读 1.countable资源是指哪些? 2.noncountable资源,本文列举了什么资源? 3.标签是否为资源? 4.如何实现扩展YARN资源模型? 概述 当前Yarn支持各种资源类型:比如: disk( YARN2139),https://issues.apache.org/jira/browse/yarn-2139 network( YARN2140), https://issues.apache.org/jira/browse/YARN-2140 和HDFS bandwidth(
用户1410343
2018-03-26
827
0
Hadoop3.0扩展Yarn资源模型详解2:资源Profiles说明
yarn
php
人工智能
问题导读 1.Resource profiles解决了什么问题? 2.使用profile的好处是什么? 3.配置文件的简洁模式如何配置? 上一篇hadoop3.0扩展Yarn资源模型详解1 h
用户1410343
2018-03-26
1.2K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档