腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

MyBatis入门案例-注解

专栏作者

54

文章

48404

阅读量

15

订阅数

Linux常用命令

shutdown -h now 或者poweroff 或者halt 或者 init 0

2022-05-11

1400

shell 编程算法 bash bash 指令

Shell 是一个用 C 语言编写的程序，通过 Shell 用户可以访问操作系统内核服务。

2021-02-05

4.9K0

大数据基础知识

高性能计算存储

什么是服务器服务器也称伺服器，是一种高性能计算机，提供计算服务的设备。服务器的构成包括处理器、硬盘、内存、系统总线等，和通用的计算机架构类似。由于服务器需要提供高可靠的服务，所以在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。服务器和电脑功能都是一样的，也可以将服务器称之为电脑，只是服务器对稳定性与安全性以及处理器数据能力有更高要求。比如我们随时浏览一个网站，发现这个网站每天24小时都能访问，为什么呢？原因在于网站服务器不能关闭，要保证长时间稳定运行，并且要承受很多人同时访。服务器类型

2021-02-05

6310

vi编辑器参数

shell file replace set vi

竖线(|)代表光标的位置；波浪号(~)代表该行没有任何内容。如果没有 ~，也看不到任何内容，那说明这一行肯定是有空白字符（空格、tab 缩进、换行符等）或不可见字符。

2021-02-05

8840

用户和权限的基本概念

linux bash bash 指令访问管理

/etc/passwd文件存放的是用户的信息, 由6个分好组成的7个信息, 分别是

2021-02-05

7190

Hive的基本概念

hive mapreduce hadoop 存储 jdbc

文章目录 Hive简介什么是Hive 为什么使用Hive？ Hive的特点 Hive的缺点 Hive架构架构图基本组成 Hive与Hadoop的关系 Hive简介什么是Hive Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。其本质是将SQL转化为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，Hive可以理解为一个将SQL转化为MapReduce的任务的工具。为什么使用Hive？有H

2021-02-05

3410

Hive与传统数据库对比

hive 数据库 mapreduce sql 存储

由于Hive采用了SQL的查询语言HQL，因此很容易将Hive理解为数据库。其实从结构上来看，Hive和数据库除了拥有类似的查询语言，再无类似之处。数据库可以用在Online的应用中，但是Hive是为数据仓库而设计的，清楚这一点，有助于从应用角度理解Hive的特性。

2021-02-05

1.6K0

HIVE的安装部署

hive 数据库云数据库 SQL Server sql yum

在每一个节点上安装hive，每一个hive是拥有一套自己的元数据，每个节点的库，表就不统一。所以安装一个MySQL让其他的节点都连接这一个MySQL。

2021-02-05

1.2K0

本地资源库的配置

yum node.js centos linux

1、备份/etc/yum.repos.d/内的所有文件通过 cd /etc/yum.repos.d/ 到 /etc/yum.repos.d/ 目录下

2021-02-05

4570

将一个新硬盘能够挂载到linux 系统上（开机自动挂载）

linux 分布式 node.js unix vr 视频解决方案

sda ├─sda1 ext4 7cc94e03-8b1a-4845-97fb-49a2c39afd8c /boot ├─sda2 ext4 fe1d0eea-50ea-4d44-853b-1c39e5129021 / ├─sda3 ext4 df147f0a-efbd-4370-8e69-471b81a6ee7c /mnt/disk1 ├─sda4 ├─sda5 ext4 ea0d589d-a329-4bfc-a00b-11c00351765a /mnt/disk2 └─sda6 swap f306ece0-a790-41d7-b685-63585b8534e4 [SWAP]

2021-02-05

5.5K0

MapReduce编程初体验（idea+VMware）:统计一个文档里的单词数量

jar java linux ide

将在idea里的java代码放在VMware里运行，具体操作步骤 java代码与在idea里的差不多，只有WordCountDriverLinux 做了一点改变其他的代码参考 MapReduce编程初体验（idea）：统计一个文档里的单词个数

2021-02-05

5080

MapReduce计算任务的步骤

javascript mapreduce 大数据

第一步 InputFormat Inputformat到hdfs上读取数据将数据传给Split 第二步 Split Split将数据进行逻辑切分将数据传给RR 第三步 RR（RecordReader） RR：将传入的数据转换成一行一行的数据，输入行首字母偏移量和对应数据将数据传给Map 第四步 Map map根据业务需求实现自定义代码将数据传给shuffle的partition 第五步partition（分区） partition：按照一定的分区规则，将key va

2021-02-05

3220

MapReduce编程初体验（idea）：统计一个文档里的单词个数

spark 云数据库 Redis hbase hadoop

注意： map的输出是一个 “key value的” list reduce输入是 key “value的list”

2021-02-05

3180

MapReduce简单介绍

mapreduce hadoop 大数据分布式

mapReduce是一个计算框架，是指实现某项任务或某项工作从开始到结束的计算过程或流的结构

2021-02-05

3550

namenode出现故障后，如何恢复？？

secondaryNamenode对namenode当中的fsimage和edits进行合并时，每次都会先将namenode的fsimage与edits文件拷贝一份过来，所以fsimage与edits文件在secondarNamendoe当中也会保存有一份，如果namenode的fsimage与edits文件损坏，那么我们可以将secondaryNamenode当中的fsimage与edits拷贝过去给namenode继续使用，只不过有可能会丢失一部分数据。这里涉及到几个配置选项 namenode保存fsimage的配置路径

2021-02-05

8780

fsimage和edits详解

node.js 大数据 http

由于editlog记录了集群运行期间所有对HDFS的相关操作，所以这个文件会很大。

2021-02-05

6330

HDFS服役新数据节点与退役旧数据节点

node.js 大数据 xml 负载均衡负载均衡缓存

随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

2021-02-05

6160

HDFS的安全模式

大数据安全 node.js

什么是HDFS安全模式安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除，修改等变更请求。 HDFS什么时候进入安全模式：在NameNode主节点启动时，HDFS首先进入安全模式在安全模式下做了什么： DataNode在启动的时候会向namenode汇报可用的block等状态查看hdfs在什么模式 hdfs dfsadmin -safemode get 进入hdfs安全模式 hdfs dfsadmin -safemode enter 退出hdfs安全模式 hdfs dfsadmin -safemode leave

2021-02-05

5060

HDFS文件限额配置

大数据 node.js

hdfs文件的限额配置允许我们以文件大小或者文件个数来限制某个目录上传文件数量或者文件内容总量，以便达到我们类似百度网盘等限制每个用户允许上传的最大的文件的量。准备一个文件夹

2021-02-05

7200

HDFS的特性和缺点

存储文件存储大数据

文章目录 HDFS的特性 HDFS的缺点 HDFS的特性海量数据存储：HDFS 可横向扩展，其存储文件可以支持PB级别数据高容错性：节点丢失，系统依然可用，数据保存多个副本，副本丢失后自动恢复。可建构在廉价（与小型机大型机比）的机器上，实现线性扩展（随着节点数量的增加，集群的存储能力增加）大文件存储：DFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布存储 HDFS的缺点不能做到低延迟数据访问：HDFS 针对一次性读取大量数据继续了优化，牺牲了延迟性。不适合大量的小文件存储：

2021-02-05

6170

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态