首页
学习
活动
专区
工具
TVP
发布

about云

专栏成员
216
文章
329386
阅读量
58
订阅数
Flink实战之网站日志ETL案例【含代码】
问题导读 1.怎样对字段进行大区转换? 2.怎样拆分打平大JSON? 3.怎样把不同类型的日志数据分别进行存储? 应用场景: 数据清洗【实时ETL】 数据报表 1、数据清洗【实时ETL】
用户1410343
2020-11-05
8030
Hadoop3.3新版本发布【整合了腾讯云】
问题导读 1.Hadoop3.3支持JDK哪个版本? 2.SCM是什么? 3.YARN应用程序做了哪些改进? 4.整合腾讯云实现了什么文件系统? 1.支持ARM 这是第一个支持ARM的版本。 2.Protobuf从2.5.0升级到新版本 Protobuf从2.5.0升级到3.7.1 3.支持Java11 支持Java11 4.支持模拟AuthenticationFilter过滤器 外部服务或YARN服务可能需要根据使用Web协议的用户行为来调用WebHDFS或YARN REST API。最好在AuthenticationFilter或类似的扩展中支持模拟机制。
用户1410343
2020-07-31
9740
hadoop入门:第六章YARN文档概述
1.YARN 结构 文档简介: Yarn的基本思想是拆分资源管理的功能,作业调度/监控到单独的守护进程 英文网址: http://hadoop.apache.org/docs/r2.7.
用户1410343
2018-03-27
9220
Hadoop2.x 让你真正明白yarn
问题导读 1.hadoop1.x中mapreduce框架与yarn有什么共同点? 2.它们有什么不同点? 3.yarn中有哪些改变? 4.yarn中有哪些术语? 原文:about云日志分析项
用户1410343
2018-03-27
1.2K0
让你真正理解什么是SparkContext, SQLContext 和HiveContext
问题导读 1.你认为SparkContext的作用是什么? 2.SQLContext 和HiveContext的区别是什么? 3.SQLContext、HiveContext与SparkContext的区别是什么? 第一步spark driver 应用程序创建SparkContext,SparkContext 允许spark driver 应用程序通过资源管理器访问集群。资源管理器可以是Yarn,或则spark集群管理器。为了创建SparkContext,你可以第一步创建SparkConf,Spa
用户1410343
2018-03-27
3.2K0
各个版本Linux单节点伪分布安装CDH5.1.X及提交wordcount到yarn高可靠文档
问题导读: 1.安装cdh5伪分布配置文件在什么位置? 2.不同的操作系统,cdh5的安装过程都包含哪些流程? 3.在yarn上运行wordcount都需要哪些准备? 4.CDH5是如何安装的? 简介: 如果安装过Cloudera Manager5,我们可能会知道,这个安装还是比较曲折的,因为一旦网络中断,那么我们的安装失败率还是比较高的。如果我们只想了解CDH,我们安装CDH5.CDH5该如何安装,而它的安装确实比hadoop要简单些,我们这里介绍单节点伪分布安装及如何在yarn上运行word
用户1410343
2018-03-27
6590
hadoop3.0可用【 GA】版发布与alpha1版比较有哪些不同
问题导读 1.容器新增加了哪个概念? 2.Opportunistic类型容器有什么特点? 3.为何说Opportunistic类型容器提高集群效率? 4.hadoop3.0,可以通过什么方式来配置Capacity 调度? 5.yarn资源类型除了cpu和内存,还可以自定义哪些类型? Shaded client jars 解决了依赖冲突问题 hadoop2.x中所有依赖都添加到应用程序环境变量,这样有可能造成应用程序依赖与hadoop依赖冲突。HADOOP-11804添加了新的 hadoop-cli
用户1410343
2018-03-26
7580
hadoop3.0 Yarn支持网络资源:network原理设计文档说明【中文】
问题导读 1.网络作为Yarn的资源,有什么好处? 2.Yarn是否只支持调度和强制执行“传出流量”? 3.Yarn是否支持入口流量? 4.DistributedShell是否可以让用户指定网络带宽
用户1410343
2018-03-26
1.1K0
Hadoop3.0: YARN Resource配置说明
问题导读 1.yarn默认情况下使用哪些资源? 2.Yarn如何实现扩展自定义资源? 3.自定义资源,可以在哪个配置文件中配置? 4.哪些配置可以在yarn-site.xml文件或则 resource-types.xml文件配置? 5.yarn有哪三种Containers? 6.三种Container如何配置请求的CPU,memory等值? 1.概述 yarn支持可扩展资源类型.所有节点、应用程序、队列,默认情况下Yarn使用 CPU和内存。资源定义可以扩展为任意的“countable”资源。一个cou
用户1410343
2018-03-26
3.1K0
Hadoop3.0集群安装知识
问题导读 1.本文是如何定义master的? 2.如何配置hadoop守护进程环境? 3.配置Hadoop守护进程需要哪些配置文件? 4.yarn-site配置文件,主要配置哪两个进程? 5.mapred-site.xml配置文件,配置哪些内容? 6.hadoop如何配置监测NodeManagers的健康状况? 7.hadoop3.0slaves做了什么更改? 8.如何单独启动DataNode? 9.访问hadoop web界面都有哪些接口? 目的 本文档介绍如何安装和配置Hadoop集群,从少数节点到数
用户1410343
2018-03-26
1.3K0
Hadoop3.0通用版集群安装高可靠详细教程
问题导读 1.hadoop3.x检测虚拟内存的情况下,可能会产生什么问题? 2.hadoop3.x中,下面各个配置的作用是什么? 3.dfs.blocksize可以使用哪些单位? hadoop
用户1410343
2018-03-26
1.2K0
扩展Yarn资源模型详解1
问题导读 1.countable资源是指哪些? 2.noncountable资源,本文列举了什么资源? 3.标签是否为资源? 4.如何实现扩展YARN资源模型? 概述 当前Yarn支持各种资源类型:比如: disk( YARN2139),https://issues.apache.org/jira/browse/yarn-2139 network( YARN2140), https://issues.apache.org/jira/browse/YARN-2140 和HDFS bandwidth(
用户1410343
2018-03-26
8250
Hadoop3.0扩展Yarn资源模型详解2:资源Profiles说明
问题导读 1.Resource profiles解决了什么问题? 2.使用profile的好处是什么? 3.配置文件的简洁模式如何配置? 上一篇hadoop3.0扩展Yarn资源模型详解1 h
用户1410343
2018-03-26
1.2K0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档