腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

最新最全的大数据技术体系

专栏作者

717

文章

538480

阅读量

33

订阅数

助力工业物联网，工业大数据项目之数据采集

yarn node.js 数据库 sql oracle

问题1：程序已提交YARN，但是无法运行，报错：Application is added to the scheduler and is not activated. User’s AM resource limit exceeded.

2023-02-03

4950

工作常用之Yarn详解【五】资源调度与隔离

yarn node.js 访问管理 hadoop

在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager中的调度器负责资源的分配，而NodeManager则负责资源的供给和隔离。

2022-12-02

1.2K0

工作常用之Spark调优【二】资源调优

spark yarn node.js 文件存储 jar

先设定单个 Executor 核数，根据 Yarn 配置得出每个节点最多的 Executor 数量，每个节

2022-11-28

4810

工作常用之Spark调优[二】资源调优

spark linux yarn node.js 文件存储

先设定单个 Executor 核数，根据 Yarn 配置得出每个节点最多的 Executor 数量，每个节

2022-09-27

6520

2022年最新Python大数据之Python基础【八】文件的操作与类

node.js 编程算法网站

文章目录 1、文件的基本操作 2、文件的读取操作 3、文件的写入操作 4、文件的追加操作 5、文件读写模式拓展（了解，看到能明白意思即可） 6、文件备份案例 7、rename和remove 8、文件夹的操作 9、批量修改文件名案例 10、面向对象的思维方式 11、类和对象 12、类的定义 13.类的实例化 14、self 1、文件的基本操作文件打开的格式： file = open（文件路径，读写模式）文件路径：可以写相对路径，也可以写绝对路径读写模式：r（读取） w（写入） a（追

2022-09-27

4770

CDH性能优化（参数配置）

node.js 大数据

1.dfs.block.size HDFS中的数据block大小，默认是64M，对于较大集群，可以设置为128或264M

2022-05-10

1.3K0

【Spark】 Spark的基础环境 Day03

yarn node.js spark

当Spark Application运行到YARN上时，在提交应用时指定master为yarn即可，同时需要告知YARN集群配置信息（比如ResourceManager地址信息），此外需要监控Spark Application，配置历史服务器相关属性。

2022-05-08

4380

Spark_Day01：Spark 框架概述和Spark 快速入门

spark 虚拟化 hadoop yarn node.js

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4yHXs6Sp-1627098349792)(/img/image-20210419160056620.png)]

2022-05-08

5670

一文快速搞定Redis_数据类型及JavaApi操作

node.js 云数据库 Redis 编程算法

一文快速搞懂系列讲究快速入门掌握一个新的大数据组件,帮助新手了解大数据技术,以下是系列文章:

2022-05-08

3580

大数据系列思考题

node.js hbase TDSQL MySQL 版 hive php

个人理解: hdfs启动流程 hdfs是Hadoop Distribute File System 的简称,即分布式文件系统,用于存储海量数据. hdfs的启动分为三步:1.启动Namenode;2.启动Datanode;3.启动Secondary Namenode; 详细说说: Secondary NameNode的工作流程:(为了方便Secondary NameNode以SN替代,NameNode)首先SN通知NN切换成edits文件; NN中的edits和fsimage通过http的方式传输到SN,并在SN中合并成新的fsimage.ckpt,之后传输回NN,并将旧的fsimage替换; NN中的edits生成新的edits文件并替换旧的edits

2022-05-08

4230

大数据物流项目中CM的安装与运用

专用宿主机大数据 parcel 企业 node.js

文章目录大数据服务器之CM安装架构及目录大数据服务器之CDH框架安装细节大数据服务器之CM安装架构及目录针对整个物流项目来说，1台虚拟机安装部署大数据环境：基于CM6.2.1安装CDH6.2.1。关于CM功能及CM安装，不再过多赘述，项目还是要注重于业务及数据和实现。 📷 提供虚拟机【node2.itcast.cn】解压后，导入VMWare 软件中，启动虚拟机即可（选择我已移动该虚拟机） 1）、启动之前，设置node2.itcast.cn内存：4GB或者6GB或者8GB即可 2）

2022-05-08

5260

大数据物流项目中CM的安装与运用

专用宿主机大数据 parcel 企业 node.js

文章目录大数据服务器之CM安装架构及目录大数据服务器之CDH框架安装细节大数据服务器之CM安装架构及目录针对整个物流项目来说，1台虚拟机安装部署大数据环境：基于CM6.2.1安装CDH6.2.1。关于CM功能及CM安装，不再过多赘述，项目还是要注重于业务及数据和实现。 📷 提供虚拟机【node2.itcast.cn】解压后，导入VMWare 软件中，启动虚拟机即可（选择我已移动该虚拟机） 1）、启动之前，设置node2.itcast.cn内存：4GB或者6GB或者8GB即可 2）

2022-05-08

3950

大数据繁荣生态圈组件之实时大数据Druid小传(三)Druid入门实操

sql node.js http javascript json

3.访问WebUI 组件名 URL broker http://node01:8888 coordinator、overlord http://node01:8081/index.html middleManager、historical http://node01:8090/console.html

2022-04-21

8040

datax详细介绍及使用

云数据库 SQL Server 数据库 sql 大数据 node.js

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

2022-03-11

10.6K0

电商4.0项目【二】: 架构搭建

xml maven node.js 数据库 sql

l 修改pom.xml文件，确定spring boot、spring cloud、spring cloud Alibaba 等版本

2022-01-07

4690

HDFS笔记（特点、原理与基本架构）

vr 视频解决方案 node.js 大数据编程算法

以文件为基本存储单位的缺点 1、文件大小不同，难以实现负载均衡。 2、处理一个文件时，只能利用一个节点资源，无法动用集群。

2021-12-18

3160

Vue Nuxt.js 概述

ajax seo javascript node.js vue.js

1. Nuxt.js 概述 1.1 我们一起做过的SPA SPA（single page web application）单页 Web 应用，Web 不再是一张张页面，而是一个整体的应用，一个由路由系统、数据系统、页面（组件）系统等等，组成的应用程序。我们之前学习的Vue就是SPA中的佼佼者。 SPA 应用广泛用于对SEO要求不高的场景中 📷 1.2 什么是SEO SEO：搜索引擎优化（Search Engine Optimization）, 通过各种技术（手段）来确保，我们的Web内容被搜索引擎

2021-12-14

8.7K0

SpringCloud微服务之学生管理

javascript node.js 数据库 sql

1.环境搭建 1.1 架构分析 📷 注册中心：Nacos 网关：Gateway 后端基础框架：ssm 前端：Vue + SPA Axios（request.js） 1.2 数据库环境 1.2.1 学生数据库 #学生数据库 CREATE DATABASE nacos_ssm_student; USE nacos_ssm_student; CREATE TABLE tb_city( c_id VARCHAR(32) PRIMARY KEY COMMENT '城市ID', city_name VARCH

2021-12-12

2100

[前端学习]Promise 对象一网打尽

javascript node.js 编程算法

Promise 的含义 Promise 是异步编程的一种解决方案，比传统的解决方案——回调函数和事件——更合理和更强大。它由社区最早提出和实现，ES6 将其写进了语言标准，统一了用法，原生提供了Promise对象。

2021-12-07

9010

大数据开发岗常见面试复习30天冲刺 - 日积月累，每日五题【Day05】——Kafka3

kafka node.js 大数据

•step1：构建消费者连接对象：KafkaConsumer –需要配置对象：管理配置，例如连接地址：Properties •step2：消费者需要订阅Topic –KafkaConsumer：subscribe（List） •step3：消费数据 –KafkaConsumer：poll：实现拉取消费数据 –ConsumerRecords：拉取到的所有数据集合 –ConsumerRecord：消费到的每一条数据 •topic：获取数据中的Topic •partition：获取数据中的分区编号 •offset：获取数据的offset •key：获取数据中的Key •value：获取数据中的Value

2021-12-07

2130

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态