首页
学习
活动
专区
工具
TVP
发布

闵开慧

专栏作者
237
文章
382929
阅读量
51
订阅数
Error: Could not find or load main class org.apache.hadoop.mapred.YarnChild
执行hadoop classpath 在hadoop配置文件 yarn-site中添加以下配置 <property> <name>yarn.application.classpath</name> <value>/home/hadoop/hadoop-3.3.1/etc/hadoop:/home/hadoop/hadoop-3.3.1/share/hadoop/common/lib/:/home/hadoop/hadoop-3.3.1/share/hadoop/common/:/home/
闵开慧
2021-08-05
1.1K0
centos7中ssh需要密码
# OpenBSD: sshd_config,v 1.100 2016/08/15 12:32:04 naddy Exp
闵开慧
2021-08-05
8060
Kafka、RocketMQ、RabbitMQ、ActiveMQ比较MQ消息队列的技术应用Kafka、RocketMQ、RabbitMQ比较消息队列选择建议
以及实现了JMS(Java Message Service)标准的OpenMQ。
闵开慧
2021-07-27
7500
曾经做过的40道程序设计课后习题总结(四)
曾经做过的40道程序设计课后习题总结(四) 课后习题目录 1 斐波那契数列 2 判断素数 3 水仙花数 4 分解质因数 5 杨辉三角 6 学习成绩查询 7 求最大公约数与最小公倍数 8 完全平方数 9 统计字母、空格、数字和其它字符个数 10 求主对角线之和 11 完数求解 12 求s=a+aa+aaa+aaaa+aa...a的值 13 高度计算 14 乘法口诀 15 无重复三位数 16 菱形打印 17 利润计算 18 第几天判断 19 从小到大输出数列 20 猴子吃桃
闵开慧
2018-04-02
1.7K0
曾经做过的40道程序设计课后习题总结(三)
曾经做过的40道程序设计课后习题总结(三) 课后习题目录 1 斐波那契数列 2 判断素数 3 水仙花数 4 分解质因数 5 杨辉三角 6 学习成绩查询 7 求最大公约数与最小公倍数 8 完全平方数 9 统计字母、空格、数字和其它字符个数 10 求主对角线之和 11 完数求解 12 求s=a+aa+aaa+aaaa+aa...a的值 13 高度计算 14 乘法口诀 15 无重复三位数 16 菱形打印 17 利润计算 18 第几天判断 19 从小到大输出数列 20 猴子吃桃问题 21 乒乓球比赛 22 求分数之
闵开慧
2018-04-02
1.1K0
曾经做过的40道程序设计课后习题总结(二)
曾经做过的40道程序设计课后习题总结(二) 课后习题目录 1 斐波那契数列 2 判断素数 3 水仙花数 4 分解质因数 5 杨辉三角 6 学习成绩查询 7 求最大公约数与最小公倍数 8 完全平方数 9 统计字母、空格、数字和其它字符个数 10 求主对角线之和 11 完数求解 12 求s=a+aa+aaa+aaaa+aa...a的值 13 高度计算 14 乘法口诀 15 无重复三位数 16 菱形打印 17 利润计算 18 第几天判断 19 从小到大输出数列 20 猴子吃桃问题 21 乒乓球比赛 22 求分数之
闵开慧
2018-04-02
7450
云存储深层解析
云存储的概念与云计算类似,它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。     全球数据量的猛增使得存储日益成为一个更独立的专业问题,越来越多的企业开始将存储作为单独的项目进行管理。同时,持续增长的数据存储压力带动着整个存储市场的快速发展。     云存储(cloud storage)这个概念一经提出,就得到了众多厂商的支持和关注。Amazon在两年前就推出的Elastic Compute
闵开慧
2018-04-02
6.9K0
Unable to instantiate org.apache.hadoop.hive.metas
hive启动后运行命令时出现: FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 这种情况一般原因比较多,所以需要进行hive调试: 进
闵开慧
2018-04-02
7820
win8不能解析DNS导致不能访问外网问题
win8不能解析DNS导致不能访问外网问题     win8系统以前都可以正常上网,早上发现不能访问外网问题,内网可以访问。找运维同事查看后,发现是DNS不能解析问题,这个问题可能是win8自身的bu
闵开慧
2018-04-02
4.5K0
Java自学之道(二) Java开发环境准备
Java自学之道(二) Java开发环境准备   这里主要讲JDK的配置,JDK的安装和安装一般的应用软件一样,下载JDK 安装就可以了,但安装后主要是配置好才可用。我相信很多初学者和我刚开始一样,安装好JDK以后就直接点击桌面上的Java图标,这种行为虽然看起来很可 爱,但即使是对于现在的大牛来说,他曾经也可能这样干过,这其实没有什么可笑的,对于每个初学者来说这很正常。我之所以着重讲一下JDK的配置,因为这个 事情确实烦人。其实环境变量的配置只要设置path就可以了,classpath可以不管。下面是具
闵开慧
2018-04-02
8150
Java自学之道介绍
Java自学之道介绍     Java自学之道是Java入门非常合适的参考资料,里面使用大量生活中的实例,将抽象的理论形象化,让大家更容易理解。同时,里面含有大量面试练习题让大家进行操练,帮助大家尽快上手。 本书特色:    1、从学生自己的角度出发     该书从学生的角度出发,因为知识的接受者是我们,我们会更加了解我们自己需要什么样的知识以及什么样的学习方法。    2、避免繁琐,一语中的解释概念     该书不像Java教材那么繁琐难懂,该书力求精简和经典,一语中的点出每个知识点的学习重点,目的
闵开慧
2018-04-02
9290
总结5种比较高效常用的排序算法
1 概述     本文对比较常用且比较高效的排序算法进行了总结和解析,并贴出了比较精简的实现代码,包括选择排序、插入排序、归并排序、希尔排序、快速排序等。算法性能比较如下图所示: 2 选择排序 选择
闵开慧
2018-04-02
8040
Hadoop2.3.0上部署Mahout0.10,并测试单机版与分布式版个性化推荐程序
Hadoop2.3.0上部署Mahout0.10,并测试单机版与分布式版个性化推荐程序 1 Eclipse中Hadoop2.3.0及Mahout0.10相关jar包部署       Hadoop2以上需要使用Mahout0.10以上版本才可以直接运行,否则需要重新编译Mahout相关jar包。本文直接使用Mahout0.10版本,执行前在Eclipse中分别倒入Hadoop2.3.0和Mahout0.10相关jar包即可。Eclipse中Hadoop2.3.0jar包部署见上篇文章:eclipse中ha
闵开慧
2018-04-02
7150
intellij13中svn安装配置
1 在windows中安装配置svn,和一般安装svn一样。 2 intellij13中svn配置     2.1 设置svn路径如下图所示 点击fix it进入下一步,如图所示 不勾选Use c
闵开慧
2018-04-02
5630
多个字段中如何按其中两个进行排序(二次排序)
多个字段中如何按其中两个进行排序(二次排序) 1 原理     二次排序就是首先按照第一字段排序,然后再对第一字段相同的行按照第二字段排序,注意不能破坏第一次排序的结果。     这里主要讲如何使用一个Mapreduce就可以实现二次排序。Hadoop有自带的SecondarySort程序,但这个程序只能对整数进行排序,所以我们需要对其进行改进,使其可以对任意字符串进行排序。下面会分别列出这两个程序的详解。        Hadoop自带的例子中定义的map和reduce如下,关键是它对输入输出类型的定
闵开慧
2018-04-02
4.7K0
如何恢复hadoop中被删除的文件
    hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的,就是在删除hdfs文件时,被删除的文件被移动到了hdfs的.Trash文件夹中,恢复时只需将该文件夹中文件拿出即可。具体操作如下: 1 设置.Trash文件夹     如果需要恢复hdfs中文件,就需要设置.Trash,hadoop的.Trash默认是关闭的。具体设置如下:     <property>           <name>fs.trash.interval</name>           <value>10080</
闵开慧
2018-04-02
3.4K0
spark出现GC overhead limit exceeded和java heap space
    spark执行任务时出现java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh中将下面两个参数调节的尽量大     export SPARK_EXECUTOR_MEMORY=6000M     export SPARK_DRIVER_MEMORY=7000M 注意,此两个参数设置需要注意大小顺序:     SPA
闵开慧
2018-04-02
4.3K0
spark on yarn提交任务时一直显示ACCEPTED
spark on yarn提交任务时一直显示ACCEPTED,过一个小时后就会出现任务失败,但在提交时shell终端显示的日志并没有报错,logs文件夹中也没有日志产生。注:spark on yarn是不需要启动spark集群的,只需要在提交任务的机器配置spark就可以了,因为任务是由hadoop来执行的,spark只负责任务的提交。 任务提交命令为  bin/spark-submit --class org.apache.spark.examples.JavaWordCount\     --mas
闵开慧
2018-04-02
3.6K0
map函数或reduce函数中如何调用第三方jar包
    一般我们在mapreduce程序中调用第三方jar包时会出现找不到jar包的问题,检查发现jar包就在相应路径,mapreduce任务就是找不到。仔细想想会发现,这个jar包是放在执行mapreduce主程序机器上的内存中,一般为客户端机器。而我们在map或者reduce函数中调用该jar包时是在集群的机器上的内存中调用,这样怎么可以调用。可以使用以下方法:     1 把jar包提前放在集群每天机器上。     2 和集群调用mysql驱动程序一样,先将jar包放入hdfs,然后通过mysql的d
闵开慧
2018-04-02
9860
Permission denied: user=root, access=WRITE
hive> create database bbs; FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=root, access=WRITE, inode="/user/hive/warehouse":hadoop:hadoop:drwxrwxr-x 原因:本地用户administra
闵开慧
2018-04-02
1.9K0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
热点技术征文第五期
新风口Sora来袭,普通人该如何把握机会?
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档