腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

无题~

专栏作者

218

文章

266683

阅读量

22

订阅数

Hbase集群搭建以及启动（单点启动，群起）

bash bash 指令 hbase TDSQL MySQL 版大数据

HBase是什么 HBase是基于hadoop的数据库！ HBase支持随机写 HBase的读写操作还是借助HDFS完成，要完成随机写，根本上还是需要复合HDFS的特性！ HDFS只支持追加写！随机的操作： Update+Delete 借助追加写+时间戳(版本号) 只允许客户端查询时返回时间戳最新的数据！ HBase支持海量数据的实时读写 ①分布式 ②索引，LSM树 ③kv ④吃内存 ⑤列式存储 ⑥布隆过滤器（查询） HBase的安装和配置（重点） 1.配置 ①保证已经配置了J

2020-11-26

8990

大数据 hbase hive TDSQL MySQL 版数据库

sqoop，即SQL To Hadop，目的是完成关系型数据库导入导出到Hadoop

2020-10-28

1.1K0

Flume中常见的组件

node.js 大数据日志服务

netcat source: 类似于netcat的 nc -l 端口号！可以监听某个主机的指定端口收到的消息，将每行消息封装为一个event exec source : 执行一个linux命令，根据命令启动的进程获取进程在标注输出输出的内容，将内容封装为event! 要求进程必须是一个可以持续产生消息的进程，因为一旦进程停止，source就自动停止！ logger sink：多用于调试，可以将event由logger使用info级别，输出到控制台或文件！ hdfs sink：

2020-10-27

2830

MapReduce之片和块的关系

javascript python mapreduce 大数据

blockSize：块大小 minSize: minSize从mapreduce.input.fileinputformat.split.minsize和1之间对比，取最大值 maxSize: 读取mapreduce.input.fileinputformat.split.maxsize，如果没有设置，则使用Long.MaxValue作为默认值

2020-07-21

4440

解决HDFS上小文件的存储

1.从源头上解决，在上传到HDFS之前，就将多个小文件归档使用tar命令带上参数-zcvf 示例：

2020-07-14

9220

如何在集群里服役新节点、退役旧节点(DataNode)

xml 大数据 node.js

①准备机器，配置好JDK、hadoop的环境变量，在hdfs-site.xml和yarn-site.xml文件中分别配置NameNode和ResourceManager所在主机名 ②待服役成功后，启动datanode和nodemanager进程即可 ③服役了新的DN节点后，可以执行再平衡的命令，这个命令可以将集群中块进行重新平衡分配，实现负载均衡： ./start-balancer.sh

2020-07-14

7330

Hadoop集群之浅析安全模式

node.js 安全大数据

集群处于安全模式，不能执行重要操作（写操作）。集群启动完成后，自动退出安全模式。（1）bin/hdfs dfsadmin -safemode get （功能描述：查看安全模式状态[on/off]）（2）bin/hdfs dfsadmin -safemode enter （功能描述：进入安全模式）（3）bin/hdfs dfsadmin -safemode leave （功能描述：离开安全模式）（4）bin/hdfs dfsadmin -safemode wait （功能描述：输入写操作的命令，但不立即执行，而是放在缓存队列中，等待安全模式退出再依次执行）

2020-07-13

5220

NameNode是如何存储元数据的？

node.js 大数据存储

edits文件的产生： NN在启动之后，每次接受的写操作请求，都会将写命令记录到edits文件中，edits文件每间隔一定的时间和大小滚动！

2020-07-13

2.3K0

hadoop集群的启动与停止

yarn node.js ssh hadoop 大数据

这些名称是我的三台机器的主机名，各位请改成自己的主机名！注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

2020-07-10

1.5K0

HDFS之下载某个块的文件

在linux中，对文件的拼接使用的命令是cat 例如，把文件1的内容追加到文件2中：

2020-07-10

3970

大数据面试题

flink 大数据 yarn hadoop node.js

①列举你使用的常用指令？ ②怎么查看服务是否开启？后面的参数都是什么意思？ ③怎么查看服务器内存使用情况？ ④日志查看指令？ ⑤跨机房怎么传输文件？

2020-07-10

5590

HDFS概述及其优缺点

大数据编程算法分布式存储

随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

2020-07-09

4970

HDFS之使用Java客户端对文件的一些操作

node.js 文件存储 xml 大数据

在这里总结了一下使用java对HDFS上文件的操作，比如创建目录、上传下载文件、文件改名、删除…… 首先对一些类名、变量名做出解释说明： FileSystem: 文件系统的抽象基类 FileSystem的实现取决于fs.defaultFS的配置！有两种实现！ LocalFileSystem：本地文件系统 fs.defaultFS=file:/// DistributedFileSystem：分布式文件系统 fs.defaultFS=hdfs://xxx:9000 声明用户身份：

2020-07-08

1.2K0

Hadoop生态圈

yarn hadoop 存储大数据 jvm

HDFS: 负责大数据的存储 Common: HDFS和MR共有的常用的工具包模块！ MapReduce: 负责计算，负责计算资源的申请的调度！

2020-07-06

3930

在centos7上进行hadoop-3.1.2的伪分布搭建

网络安全 xml 大数据 tcp/ip yarn

vi /etc/sysconfig/network-scripts/ifcfg-ens33（网卡名称可能不同）

2019-12-10

4930

hadoop mapreduce 分布式大数据存储

高速性（velocity）：大数据要求处理速度快，比如淘宝双十一需要实时显示交易数据

2019-09-29

5190

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态