最新最全的大数据技术体系-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

最新最全的大数据技术体系

专栏成员

751

文章

643418

阅读量

35

订阅数

助力工业物联网，工业大数据之脚本开发【五】

大数据 python shell linux

Shell：Linux原生Shell脚本，命令功能全面丰富，主要用于实现自动化Linux指令，适合于Linux中简单的自动化任务开发

2023-02-17

4830

工作常用之Spark调优[二】资源调优

spark linux yarn node.js 文件存储

先设定单个 Executor 核数，根据 Yarn 配置得出每个节点最多的 Executor 数量，每个节

2022-09-27

7360

工作常用之Spark调优一】

spark linux sql jar yarn

Spark 3.0 大版本发布， Spark SQL 的优化占比将近 50% 。 Spark SQL 取代 Spark Core ，成

2022-09-27

4630

CPU使用率过高问题排查及Linux之top命令用法详解

公司连续2天服务器告警CPU使用率过高问题，查看日志无果，尝试使用top命令排查问题。

2022-06-12

8K0

工作总结之服务器时间不同步导致平台验证失败及Linux系统时间同步方法

公司领导反馈：无权限登录系统，临近下班无奈只能吃过晚饭后回工位排查问题，一直排查到20:30多无法查出问题根源。

2022-06-12

1.3K0

大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day30】——Spakr数据调优(文末附完整文档)

linux spark 大数据

一个CPU core同一时间只能执行一个线程。而每个Executor进程上分配到的多个task，都是以每个task一条线程的方式，多线程并发运行的。

2022-01-18

1.3K0

大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)

yum linux html ide

Linux是大数据中的基础,无论是运维或开发,都免不了要学,而且学的越扎实越好,下面为大家带来Linux学习笔记

2021-12-30

1.3K0

记录一下Kafka报错:timeout expired while fetching topic metadata

node.js windows linux 网络安全 html

一开始报的不是这个错,是unable to find any brokers, 查看Kaka日志,发现根本没起来

2021-12-07

3.1K0

大数据开发工程师基本功修炼之Linux学习笔记(四)

yum linux ssh 存储 java

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F5x3IfHz-1624685690449)(assets/1558957195965.png)]

2021-12-07

5540

大数据开发工程师基本功修炼之Linux学习笔记(三)

uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。

2021-12-07

4470

2021年最新最全Flink系列教程_Flink原理初探和流批一体API(二)

云数据库 Redis windows 编程算法 linux css

oolConfig config = new FlinkJedisPoolConfig.Builder() .setHost(“node1”).build(); result.addSink(new RedisSink>(config, new RedisMapperEx())); env.execute(); // * 最后将结果保存到Redis 实现 FlinkJedisPoolConfig // * 注意:存储到Redis的数据结构:使用hash也就是map // * key value // * WordCount (单词,数量)

2021-12-07

4770

大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day22】——Spark9

spark 编程算法大数据 linux

1）累加器在全局唯一的，只增不减，记录全局集群的唯一状态； 2）在exe中修改它，在driver读取； 3）executor级别共享的，广播变量是task级别的共享两个application不可以共享累加器，但是同一个app不同的job可以共享。

2021-12-07

2280

大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day21】——Spark8

linux javascript yarn node.js

1）运行ApplicationMaster的Container：这是由ResourceManager（向内部的资源调度器）申请和启动的，用户提交应用程序时，可指定唯一的ApplicationMaster所需的资源； 2）运行各类任务的Container：这是由ApplicationMaster向ResourceManager申请的，并由ApplicationMaster与NodeManager通信以启动之。

2021-12-07

1940

给宇宙最强Visual Studio Code配置编译和运行C/C++

c++linux ide 编程算法

C++ 是一种静态类型的、编译式的、通用的、大小写敏感的、不规则的编程语言，支持过程化编程、面向对象编程和泛型编程。通用的基于C的中级编程语言。它是由Bjarne Stroustrup于1979年开发的。当今许多操作系统，系统驱动程序，浏览器和游戏都使用C++作为其核心语言，从而使其成为最受欢迎的语言之一。

2021-12-06

5170

[hadoop3.x]HDFS中的内存存储支持(七)概述

存储 node.js 缓存 hadoop linux

[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS

2021-12-06

1.6K0

[hadoop3.x系列]Hadoop常用文件存储格式及BigData File Viewer工具的使用(三)

存储 windows 文件存储大数据 linux

[hadoop3.x系列]HDFS REST HTTP API的使用(一)WebHDFS

2021-12-06

5270

[hadoop3.x]HDFS中的内存存储支持(七)概述

存储 node.js linux 缓存 sdn

l DataNode异步地将内存中数据刷新到磁盘，从而减少代价较高的磁盘IO操作，这种写入称之为懒持久写入

2021-10-12

1.7K0

❤️大数据专业的学妹问我大数据怎么入门，我总结了亲身体验的学习路线推荐给她【推荐收藏】❤️

java 大数据 flink spark linux

前言大家好,我是程序员Manor,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。前两天有学妹私信我说,她已经上完大一,大数据专业的,只学过大数据导论,问我大

2021-07-23

9350

大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议收藏)

yum linux html ide

Linux是大数据中的基础,无论是运维或开发,都免不了要学,而且学的越扎实越好,下面为大家带来Linux学习笔记

2021-06-29

1.6K0

Apache Impala 的安装部署

hive hadoop 专用宿主机 node.js linux

4．配置本地yum源 4.1．上传安装包解压使用sftp的方式把安装包大文件上传到服务器/cloudera_data目录下。

2021-04-09

1.2K0

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态