腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Java EE 企业级开发工作日志

Java 开发工程师，全栈开发爱好者，开源布道师。擅长高并发微服务架构、分布式处理。

专栏作者

161

文章

420843

阅读量

25

订阅数

大数据基础系列 5：Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作

大数据 hadoop

本篇文章《大数据基础系列 5：Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作》是完全针对 HDFS 文件系统的，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。对大数据系列感兴趣的同学可以移步本人大数据专栏查看更多内容。

白鹿第一帅

2022-05-08

2K0

Apache Hadoop 答疑：解决 Apache Hadoop 启动时 DataNode 启动异常的问题

hadoop 大数据 java 网站 apache

本文用于解决 Apache Hadoop 启动时 DataNode 启动异常的问题，但是请注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做。

白鹿第一帅

2022-05-08

7170

ssh 配置：在 Linux 中 ssh 配置无密码登陆完整步骤以及易错点分析

ssh hadoop linux 分布式数据加密服务

对于 Hadoop 的伪分布式和全分布式而言，Hadoop 的名称节点（NameNode）需要启动集群中所有机器的 Hadoop 的守护进程，这个过程可以通过 SSH 登陆来实现。Hadoop 并没有提供 SSH 输入密码登陆的形式，因此为了能够顺利登陆每台机器，需要将所有机器配置为名称节点可以无密码登陆的形式。

白鹿第一帅

2022-05-08

8930

大数据基础系列 4：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析

java hadoop ssh xml 分布式

本文为大数据基础系列 4：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析，以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例。本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章，我个人是很有自信的，一篇文章掌握一门课程核心技术点。

白鹿第一帅

2022-05-08

4630

Kunpeng BoostKit 使能套件：大数据场景如何实现“大鹏一日同风起”倍级性能提升？

spark 开源编程算法 hadoop

在数据和经济时代，业务和数据的多样性需要新的计算架构，海量的数据增长也带来了更高的计算需求。那么在这个过程中，鲲鹏计算产业也正在成为更多计算场景的新一代 IP 基座。基于华为鲲鹏处理器构建的鲲鹏全栈 IT 技术实施设施行业应用以及服务，致力于为智能世界持续提供我们的先进算力支持，使得各个行业可以实现数字化转型。应用软件的迁移与优化一直是鲲鹏软件生态的难点和关键。本次鲲鹏 BoostKit 训练营为开发者介绍如何基于鲲鹏 BoostKit 使能套件实现应用性能的加速，并重点剖析性能优化技术和关键能力。

白鹿第一帅

2022-02-18

1.2K0

大数据基础学习五：Hadoop 实验——熟悉常用的 HDFS 操作

腾讯云开发者社区 hadoop 大数据解决方案大数据

本篇文章《大数据基础学习五：Hadoop 实验——熟悉常用的 HDFS 操作》是完全针对HDFS文件系统的，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。大数据系列文章请移步本人大数据专栏查看。

白鹿第一帅

2021-03-02

9.3K0

解决 Apache Hadoop 启动时 DataNode 没有启动的问题

腾讯云开发者社区 hadoop 大数据解决方案大数据

解决 Apache Hadoop 启动时 DataNode 没有启动的问题（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）。

白鹿第一帅

2021-03-02

2.4K0

大数据基础学习一：在 Windows 上安装虚拟机完整步骤及需要注意的问题

腾讯云开发者社区 hadoop 大数据解决方案大数据

学习大数据，就必须要有一台 Unix 或者 Linux 系统的电脑，苹果电脑首选就是最佳的选择，如果条件不支持，在 Windows 电脑上安装虚拟机 VM，再在 VM 里面安装 Linux 系统也是一种不错的选择，下面白鹿为大家奉上在 Windows 上安装 VM 虚拟机安装教程及在 VM 虚拟机上安装 Ubuntu18.04.3 优麒麟版完整步骤。（附下载地址和产品许可秘钥）。

白鹿第一帅

2021-03-02

1.1K0

关于 Hadoop 启动时报错 masternode:ssh: connect to host master port 22 问题的总结

腾讯云开发者社区 hadoop

最近在 Win10 系统上配置了ubuntu-18.04.3，在配置集群的 ssh 无秘钥登录时，经常能碰到 ssh: connect to host master port 22: Connection timed out 的问题。

白鹿第一帅

2021-03-02

8400

大数据基础学习四：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及需要注意的问题

腾讯云开发者社区 hadoop 大数据解决方案大数据

大数据基础学习四：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤、易错点分析及需要注意的问题（以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例），本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章，我个人是很有自信的，一篇文章掌握一门课程核心技术点。

白鹿第一帅

2021-03-02

1.3K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态