about云-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

about云

专栏成员

216

文章

329386

阅读量

58

订阅数

Flink实战之网站日志ETL案例【含代码】

kafka 日志数据 yarn node.js 云数据库 Redis

问题导读 1.怎样对字段进行大区转换？ 2.怎样拆分打平大JSON? 3.怎样把不同类型的日志数据分别进行存储？应用场景：数据清洗【实时ETL】数据报表 1、数据清洗【实时ETL】

2020-11-05

8030

Hadoop3.3新版本发布【整合了腾讯云】

yarn hadoop 缓存 http 容器

问题导读 1.Hadoop3.3支持JDK哪个版本？ 2.SCM是什么？ 3.YARN应用程序做了哪些改进？ 4.整合腾讯云实现了什么文件系统？ 1.支持ARM 这是第一个支持ARM的版本。 2.Protobuf从2.5.0升级到新版本 Protobuf从2.5.0升级到3.7.1 3.支持Java11 支持Java11 4.支持模拟AuthenticationFilter过滤器外部服务或YARN服务可能需要根据使用Web协议的用户行为来调用WebHDFS或YARN REST API。最好在AuthenticationFilter或类似的扩展中支持模拟机制。

2020-07-31

9740

hadoop入门:第六章YARN文档概述

http html 容器 yarn node.js

1.YARN 结构文档简介： Yarn的基本思想是拆分资源管理的功能，作业调度/监控到单独的守护进程英文网址： http://hadoop.apache.org/docs/r2.7.

2018-03-27

9220

Hadoop2.x 让你真正明白yarn

yarn node.js http hadoop php

问题导读 1.hadoop1.x中mapreduce框架与yarn有什么共同点？ 2.它们有什么不同点？ 3.yarn中有哪些改变？ 4.yarn中有哪些术语？原文：about云日志分析项

2018-03-27

1.2K0

让你真正理解什么是SparkContext, SQLContext 和HiveContext

spark sql hive yarn

问题导读 1.你认为SparkContext的作用是什么？ 2.SQLContext 和HiveContext的区别是什么？ 3.SQLContext、HiveContext与SparkContext的区别是什么？第一步spark driver 应用程序创建SparkContext，SparkContext 允许spark driver 应用程序通过资源管理器访问集群。资源管理器可以是Yarn，或则spark集群管理器。为了创建SparkContext，你可以第一步创建SparkConf，Spa

2018-03-27

3.2K0

各个版本Linux单节点伪分布安装CDH5.1.X及提交wordcount到yarn高可靠文档

问题导读： 1.安装cdh5伪分布配置文件在什么位置？ 2.不同的操作系统，cdh5的安装过程都包含哪些流程？ 3.在yarn上运行wordcount都需要哪些准备？ 4.CDH5是如何安装的？简介：如果安装过Cloudera Manager5，我们可能会知道，这个安装还是比较曲折的，因为一旦网络中断，那么我们的安装失败率还是比较高的。如果我们只想了解CDH，我们安装CDH5.CDH5该如何安装，而它的安装确实比hadoop要简单些，我们这里介绍单节点伪分布安装及如何在yarn上运行word

2018-03-27

6590

hadoop3.0可用【 GA】版发布与alpha1版比较有哪些不同

问题导读 1.容器新增加了哪个概念？ 2.Opportunistic类型容器有什么特点？ 3.为何说Opportunistic类型容器提高集群效率？ 4.hadoop3.0，可以通过什么方式来配置Capacity 调度？ 5.yarn资源类型除了cpu和内存，还可以自定义哪些类型？ Shaded client jars 解决了依赖冲突问题 hadoop2.x中所有依赖都添加到应用程序环境变量，这样有可能造成应用程序依赖与hadoop依赖冲突。HADOOP-11804添加了新的 hadoop-cli

2018-03-26

7580

hadoop3.0 Yarn支持网络资源：network原理设计文档说明【中文】

问题导读 1.网络作为Yarn的资源，有什么好处？ 2.Yarn是否只支持调度和强制执行“传出流量”？ 3.Yarn是否支持入口流量？ 4.DistributedShell是否可以让用户指定网络带宽

2018-03-26

1.1K0

Hadoop3.0: YARN Resource配置说明

yarn xml 人工智能

问题导读 1.yarn默认情况下使用哪些资源？ 2.Yarn如何实现扩展自定义资源？ 3.自定义资源，可以在哪个配置文件中配置？ 4.哪些配置可以在yarn-site.xml文件或则 resource-types.xml文件配置？ 5.yarn有哪三种Containers？ 6.三种Container如何配置请求的CPU，memory等值？ 1.概述 yarn支持可扩展资源类型.所有节点、应用程序、队列，默认情况下Yarn使用 CPU和内存。资源定义可以扩展为任意的“countable”资源。一个cou

2018-03-26

3.1K0

Hadoop3.0集群安装知识

问题导读 1.本文是如何定义master的？ 2.如何配置hadoop守护进程环境？ 3.配置Hadoop守护进程需要哪些配置文件？ 4.yarn-site配置文件，主要配置哪两个进程？ 5.mapred-site.xml配置文件，配置哪些内容？ 6.hadoop如何配置监测NodeManagers的健康状况？ 7.hadoop3.0slaves做了什么更改？ 8.如何单独启动DataNode？ 9.访问hadoop web界面都有哪些接口？目的本文档介绍如何安装和配置Hadoop集群，从少数节点到数

2018-03-26

1.3K0

Hadoop3.0通用版集群安装高可靠详细教程

yarn php 人工智能

问题导读 1.hadoop3.x检测虚拟内存的情况下，可能会产生什么问题？ 2.hadoop3.x中，下面各个配置的作用是什么？ 3.dfs.blocksize可以使用哪些单位？ hadoop

2018-03-26

1.2K0

扩展Yarn资源模型详解1

xml yarn shell bash bash 指令

问题导读 1.countable资源是指哪些？ 2.noncountable资源，本文列举了什么资源？ 3.标签是否为资源？ 4.如何实现扩展YARN资源模型？概述当前Yarn支持各种资源类型：比如： disk( YARN2139),https://issues.apache.org/jira/browse/yarn-2139 network( YARN2140), https://issues.apache.org/jira/browse/YARN-2140 和HDFS bandwidth(

2018-03-26

8250

Hadoop3.0扩展Yarn资源模型详解2：资源Profiles说明

yarn php 人工智能

问题导读 1.Resource profiles解决了什么问题？ 2.使用profile的好处是什么？ 3.配置文件的简洁模式如何配置？上一篇hadoop3.0扩展Yarn资源模型详解1 h

2018-03-26

1.2K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态