专栏首页最新最全的大数据技术体系如何使用云容器搭建基于CentOS7的Hadoop2.x伪分布式环境(CSDN开发者云平台使用初体验)

如何使用云容器搭建基于CentOS7的Hadoop2.x伪分布式环境(CSDN开发者云平台使用初体验)

文章目录

前言

前不久CSDN联合国内顶级云厂商,共同为开发者提供稳定便宜的云服务,送了学长两张优惠券,一张云容器,一张云主机。恰好最近在学习某硅谷的SeaTunnel课程需要用到主机做实验,使用本地的还需要重头安装VMware,有诸多不便,于是想试试CSDN的云容器服务。

CSDN开发者云平台

目前CSDN开发者云平台主要有如下资源: (1)云容器 快速构建学习、 (2)实验容器环境 云主机 稳定、 (3)安全的弹性计算服务 云磁盘 高性能的、 (4)弹性块存储服务 、 (5)数据库 可靠易用免维护的数据服务、 (6)云存储 大规模分布式对象存储服务。 其中我个人用的最多的是云主机

白piao云主机

送了40元优惠券仅限云主机1核1GB1MB1个月

云容器购买指南

CSDN 云容器通过深度融合新一代云原生技术,提供以容器为核心的高性能 Kubernetes 容器服务,助力用户快速构建学习、实验容器环境。同时有效控制使用成本,只需要支付远低于市场价的费用就可以全年不限次数使用10核10GB的容器资源。

产品优势

仅需支付相同规格服务器5%-10%的费用,就能全年不限次数使用容器服务。

产品类型

云容器实例:一个容器实例目前有 CentOS7 和Ubuntu16两种操作系统可以供选择,同时提供多种规格可供选择

简单易用

提供简单易用的web界面,方便用户一键创建多台容器、登录管理容器、上传下载文件。

存储管理

支持创建容器时同时自动挂载云存储服务,多个容器间可以共享云存储服务,解决容器状态存储问题。

实验数据集

提供常用软件安装包及常用实验数据集,而且直接挂载到容器指定目录,免去用户查找、下载实验资源,让用户更专注实验流程。

使用时间

会员有效期内,不限使用次数。

适用场景

体验真实云场景

秒级构建云环境,快速模拟真实生产场景。用户可以从默认提供的公共存储软件包快速安装常用软件,构建常用开发部署环境。

随时随地做实验

快速创建多台容器,真实还原分布式场景,更全面的对分布式场景进行实验测试。例如Mysql主从同步、kafka集群安装使用、Hadoop集群安装使用、Flink集群安装使用等实验。

会员使用规则

购买即同意《开发云服务协议》(opens new window)

【配额范围】:云容器规格配额为10核10GB内存,可根据实际需求开通并使用。

【使用时间】:会员有效期内,不限使用次数。

【使用限制】:云容器主要是提供给用户进行实验或学习,无法用于生产,需实名认证后才能正常使用。

【特别说明】:单次实验或学习时长为72小时,超过72小时后,云容器将自动销毁,使用期间请留意倒计时。

创建过程

创建1个2核4G的容器。

这里我踩了一个小坑,直接创建10核10G的容器,主机一直连接不成功,后来改成2核4G连接成功,可能是csdn考虑到要用来做Hadoop集群、Flink集群等实验,需要使用多集群默认了不能创建10核10G。

jps命令没有,先安装一下。

命令如下:

yum install java-1.8.0-openjdk.x86_64
yum install java-1.8.0-openjdk-devel.x86_64

安装Hadoop2.x

详细安装步骤如下:

我们先开始配置java环境

首先下载java的jdk

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

然后解压

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

移动位置并且配置java路径

mv java-se-8u41-ri/ /usr/java8
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

检查是否安装成功

java -version

这是理想情况,若安装成功会出现如下结果

hadoop2.x(2022.06.12更新)

wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
tar -zxvf hadoop-2.10.1.tar.gz -C /opt/
mv /opt/hadoop-2.10.1 /opt/hadoop

配置地址

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

配置yarn和hadoop

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

查看Hadoop 安装情况

hadoop version

若出现上图情况,则说明安装成功

接下来需要利用vim来操作core-site 和 hdfs-site

vim /opt/hadoop/etc/hadoop/core-site.xml

进入vim环境

按下i(insert)修改

光标移动至configuration之间,复制如下的信息

        hadoop.tmp.dir
        file:/opt/hadoop/tmp
        location to store temporary files
    
    
        fs.defaultFS
        hdfs://localhost:9000

然后按下esc,停止修改,然后打":wq"(实际无“”)退出vim修改

同理操作hdfs-site

vim /opt/hadoop/etc/hadoop/hdfs-site.xml
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/opt/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/opt/hadoop/tmp/dfs/data

配置master和slave连接,运行如下指令,并且一直回车,直至出现如下图

ssh-keygen -t rsa 

运行如下代码

cd .ssh
cat id_rsa.pub >> authorized_keys

启动Hadoop

hadoop namenode -format
start-dfs.sh
start-yarn.sh

踩坑:

ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation

这里踩了一个小坑,

解决方案:

https://blog.csdn.net/ystyaoshengting/article/details/103026872

查看是否配置成功

jps

成功图

验证成果

起初HDFS没有文件所以无任何显示

上传yum日志到HDFS系统中,可以看到系统上有文件

保留节目:使用CSDN云容器创建多集群做实验

用CSDN云容器创建多集群暂时未试过,小伙伴们又兴起可以做一做 csdn有丰富的教程,按照教程一步步实现想必并不困难,这里贴出其中一个教程。 https://blog.csdn.net/code__online/article/details/80178032

测评优点

(1)正如文档写的提供简单易用的web界面,方便用户一键创建多台容器、登录管理容器、上传下载文件。可以随时随地搭建集群做实验

(2)仅需支付相同规格服务器5%-10%的费用,就能全年不限次数使用容器服务。

(3)容器实例目前有 CentOS7 和Ubuntu16两种操作系统可以供选择,对我来说够用了。

(4)支持创建容器时同时自动挂载云存储服务,多个容器间可以共享云存储服务,解决容器状态存储问题。

测评不足

(1)提供常用软件安装包及常用实验数据集,这个在实际操作中并没有看到有,也许是学长没找到或者藏的太深。

(2)超过72小时自动销毁也让很多东西受到限制,

(3)建议多关联操作文档,这也是CSDN一大优势(相关详细的文章很多),像Mysql主从同步、kafka集群安装使用、Hadoop集群安装使用、Flink集群安装使用的文档可以放在一边,方便开发者看着一步步实现操作。

总结

对于刚刚推出的云服务有不足之处,CSDN开发者云的优势在于用户基数大,有刚性的使用需求,同时在CSDN发表的文章本就很完善,希望在后面的不断优化中推出更完善的服务。

本文参与 腾讯云自媒体分享计划 ,欢迎热爱写作的你一起参与!
本文分享自作者个人站点/博客:https://blog.csdn.net/xianyu120复制
如有侵权,请联系 cloudcommunity@tencent.com 删除。
登录 后参与评论
0 条评论

相关文章

  • 一、使用两台Centos7系统搭建Hadoop-3.1.4完全分布式集群

    大数据是基于集群的分布式系统。所谓集群是指一组独立的计算机系统构成的一多处理器系统,它们之间通过网络实现进程间的通信,让若干台计算机联合起来工作(服务),可以是...

    润森
  • 开发大数据基础教程(前端开发入门)

    第一阶段:linux+搜索+hadoop体系Linux大纲这章是基础课程,帮大家进入大数据领域打好Linux基础,以便更好地学习Hadoop,hbase,NoS...

    全栈程序员站长
  • 国内 Mono 相关文章汇总

    一则新闻《软件服务提供商Xamarin融资1200万美元》,更详细的内容可以看Xamarin的官方博客Xamarin raises $12M to help y...

    张善友
  • 【腾讯云的1001种玩法】征文活动

    腾讯云技术社区「腾云阁」上线以来得到了广大程序员们的支持,为了吸引更多的开发者入驻,现再次举办【腾讯云的1001种玩法】征文活动。只要是与「腾讯云」相关的干货原...

    腾讯云开发者社区
  • 常用的大数据技术有哪些?hadoop学习总结

    大数据技术为决策提供依据,在政府、企业、科研项目等决策中扮演着重要的角色,在社会治理和企业管理中起到了不容忽视的作用,很多国家,如中国、美国以及欧盟等都已将大数...

    用户2292346
  • 报名倒计时3天 | 荔枝微课K8s容器最佳实践分享等你来

    2021年首次线下云原生技术开放日马上和大家见面了。 还没报名的赶紧点击底部【阅读原文】,还可以预约直播提醒哦~ 时间:2021年4月10日13:30-18:0...

    腾讯云原生
  • 聚焦分布式云+FinOps,腾讯云发布多款容器新品助推企业降本增效

    在4月底举办的Techo TVP 开发者峰会暨腾讯云原生技术生态峰会上,腾讯云重磅发布全新升级的云容器产品,通过分布式云+FinOps 的云原生技术能力,为企业...

    腾讯云原生
  • 《程序员》5月精彩内容:人工智能 为我所用

    用户1737318
  • 大数据_Hadoop初体验

    root@node1 server$ scp -r /export/server/hadoop root@node2:$PWD

    Pandolar
  • 腾讯IEG游戏营销活动 腾讯云k8s实践

    K8S,是Kubernetes(舵手)的简称,是Google在2014年6月开源的一个基于容器技术的分布式集群管理系统。后google捐赠给Cloud Nati...

    腾讯云容器服务团队
  • Hadoop学习笔记系列文章导航

      这是一个信息爆炸的时代。经过数十年的积累,很多企业都聚集了大量的数据。这些数据也是企业的核心财富之一,怎样从累积的数据里寻找价值,变废为宝炼数成金成为当务之...

    Edison Zhou
  • 我用免费白拿的服务器搭建了一台基于CentOS7的Hadoop3.x伪分布式环境

    由于我接的私活经常需要使用到Hadoop集群,本地启动有启动速度慢、操作麻烦和占用内存等诟病,

    ChinaManor
  • 2017年度盘点丨基础架构演化:从“以资源为中心”到“以应用为中心”的迁移

    作者:刘建,搜狗架构师,商业平台基础平台负责人,十多年Java相关研发经验,在互联网软件体系结构、分布式计算、面向服务体系结构、用户身份安全等方面有浓厚的兴趣及...

    CSDN技术头条
  • TensorFlow 全网最全学习资料汇总之TensorFlow的技术应用【4】

    【AI研习社】关注AI前沿、开发技巧及技术教程等方面的内容。欢迎技术开发类文章、视频教程等内容投稿,邮件发送至:zhangxian@leiphone.com 随...

    AI研习社
  • 今晚7点半直播|小红书 Service Mesh 落地与 Aeraki 组件优化扩展

    Service Mesh 公认的定义,是用以处理服务与服务之间通信的专用基础设施层。微服务时代,Service Mesh应运而生,屏蔽了分布式系统的诸多复杂性,...

    腾讯云原生
  • Docker初识 -- 搭建编程环境

    docker.jpg 查看版本号: win+R 输入 cmd 进入 dos 系统就可以看到

    吟风者
  • 直播报名中|小红书 Service Mesh 落地与 Aeraki 组件优化扩展(内有PPT)

    Service Mesh 公认的定义,是用以处理服务与服务之间通信的专用基础设施层。微服务时代,Service Mesh应运而生,屏蔽了分布式系统的诸多复杂性,...

    腾讯云原生
  • 云原生概念你了解多少

    云原生以容器、微服务、DevOps等技术为基础为代表的敏捷基础架构组成,用于帮助企业快速、持续、可靠、规模化的交付业务软件,云原生需要考虑是从开发-测试-运维一...

    用户7353950
  • InfoQ首发报道:Rainbond,国内首个开源的无服务器PaaS

    好雨核心项目Rainbond近日宣布开源,这是国内首个开源的无服务器PaaS,主要用来为云原生应用的整个交付流程提供生产级支持,包括基础设施管理、容器化改造、微...

    Rainbond开源

扫码关注腾讯云开发者

领取腾讯云代金券