首页
学习
活动
专区
工具
TVP
发布

阿dai_linux

专栏作者
250
文章
585750
阅读量
41
订阅数
hdfs报错 'There are 10 missing blocks...'
今天本要部署spark on yarn,因为要在hdfs创建一些共享文件,于是到hdfs web UI去看了一下,结果发现下面的错误,顺手处理一下。
阿dai学长
2020-03-13
2.9K0
Hadoop入门之分布式部署
环境说明 主机 主机名 节点名 192.168.10.147 node1 NameNode(master) 192.168.10.207 node2 DataNode1 192.168.10.211 node3 DataNode2 192.168.10.212 node4 DataNode3 系统环境:Centos 7.6 Hadoop版本:hadoop-3.2.1 java版本:java-1.8.0 安装说明 部署位置:/usr/local/hadoop 配置本地hosts,并配置各个节点之间ssh访问
阿dai学长
2020-02-14
3850
Hadoop入门
概述 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放
阿dai学长
2020-01-27
5750
记一次入侵处理 原
之前,听道友们讲Linux服务器被入侵、被挂马等等,当时感觉很不可思议,怎么会轻轻松松被入侵呢?安全防护得多low!(不过,这次并未打脸,被入侵的是大数据的机器,不归运维管理)
阿dai学长
2019-05-17
6950
Mysql分库分表方案 转
当一张表的数据达到几千万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。
阿dai学长
2019-04-03
2.4K0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档