身为码农，表示十分痛恨服务器上的各种乱七八糟配置，平时很少用到Linux命令，对Linux一直保持在学了就忘，忘了再学的死循环中，故做此笔记，可能以后翻看的机会也不多，毕竟总有用到的时候
工欲善其事，必先利其器。Python 作为一种跨平台的编程语言，具有解释性、变异性、交互性和面向对象的特点，可应用于独立的项目开发。今天，我们特邀了公众号“冰河技术”作者、腾讯云 TVP 冰河老师，他将为我们带来基于 Python+Hadoop 手把手教学如何实现单词统计。
由于ResourceManager和NameNode还有SecondaryNameNode比较消耗资源，顾三个配置分别配置到不同的主机上
大数据技术火热而且火爆，学习大数据的课程和资料也泛滥如潮，而大数据研发环境又不是随便就可以搭建起来的，如何有一个自己随时可用的大数据修炼道场呢？
注意：3.0之后的版本是修改 workers，2.0的版本是修改salves
在VirtualBox中复制已经装好Hadoop和Spark程序的虚拟主机，且保持两台主机登录的用户名称相同，从而使用两台主机模拟集群环境。
原因：2016年11月29日 星期二 架设DCOS（Data Center Operation Systeam）。 说明：本文主要记录DCOS架设过程中的问题与解决办法。
由于没有那么多机器，就在自己的虚拟机上部署一套Hadoop集群，这被称作伪分布式集群，但是不管怎么样，这里主要记录部署hadoop的过程以及遇到的问题，然后再使用一个简单的程序测试环境。
目前最流行的大数据查询引擎非hive莫属，它是基于MR的类SQL查询工具，会把输入的查询SQL解释为MapReduce，能极大的降低使用大数据查询的门槛， 让一般的业务人员也可以直接对大数据进行查询。但因其基于MR，运行速度是一个弊端，通常运行一个查询需等待很久才会有结果。对于此情况，创造了hive的facebook不负众望，创造了新神器---presto，其查询速度平均比hive快10倍，现在就来部署体验一下吧。
flume，版本1.7.0，主要用来从业务系统收集数据以及从jms收集数据。
模拟分布式存储和计算环境的一种简单方法是将Virtualbox作为VM（“虚拟机”）的提供者，将Vagrant作为配置，启动和停止这些VM的前端脚本引擎。这篇文章的目标是构建一个集群虚拟设备，将Elasticsearch作为可由主机使用/控制的服务提供。可以从Github下载本文中使用的工件。
*通过共享文件夹的方式将j**d**k的安装包放在ma**ster**节点的/**root/downloads**文件夹下*
为了解决上面的问题，这里给引入一共自动化部署的工具Vagrant，Vagrant是一个基于Ruby的工具，用于创建和部署虚拟化开发环境。它 使用Oracle的开源VirtualBox虚拟化系统，使用 Chef创建自动化虚拟环境。使用Vagrant我们可以通过自己编写的脚本来一键自动化部署虚拟机并安装操作系统。其中一共很大的好处就是，例如我们需要搭建一套大数据的框架，并给多位同时一起使用，但是要保证环境一致，如果手动安装将要耗费大量时间。所以我们可以创建一个项目，之后写上框架搭建的脚本，这样需要运行项目的时候，让同事执行一下脚本即可快速进行环境搭建部署，这样就可以大大节省时间，不用考虑虚拟机的安装问题。使用VirtualBox的原因是这个软件是开源免费的，不同于VMware需要进行付费使用，他与vagrant可以达到很好的配合。
得出结论, 如果计算 260G 的数据, 可能和计算 60G 的数据, 所需要的内存一样, Spark 会逐个取数据, 逐个计算, 计算完成后抛弃, 再取下一条
连接传统关系型数据库和Hadoop的桥梁 把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中； 把数据从 Hadoop 系统里抽取并导出到关系型数据库里
最近一直在参加安徽省大数据与人工智能应用竞赛，因此学习了很长一段时间的大数据，也积攒了一些大数据的开发经验；工欲善其事，必先利其器，所以想要给准备学习大数据的同学总结一下自己在大数据开发中所用到的工具。
Flink从1.13版本开始支持在SQL Client从savepoint恢复作业。flink-savepoint介绍
虚拟机点击启动之后，虚拟机默认是先启动虚拟光驱，刚刚已经添加了安装盘！ 安装英文环境，时间选上海，设置root密码，一路next。没啥好说 安装模式选“basic server”或者“database server”，基本服务器模式，带有最基本的服务器应用需要的安装包，不带桌面程序。
geomesa_2.11-2.x和geomesa_2.11-3.1.1，安装有些许差异，
我今天正好想做两个事，第一个是，我想把我简书内容备份下来，但是官方提供的备份功能只能备份成markdown,然后发现图片没办法备份。所以我需要把我简书里的所有图片下载下来。
版权声明：本文为王小雷原创文章，未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80744797
本文使用datafaker工具生成数据发送到MySQL，通过flink cdc工具将mysql binlog数据发送到kafka，最后再从kafka中读取数据并写入到hudi中。
说明：本地的hadoop目录会挂载到docker中hadoop/etc/hadoop配置文件目录。
Apache Tez是构建于Apache Hadoop YARN上，基于有向无环图进行数据处理的框架。
Cloudera在北京时间2019年3月30日正式发布了Cloudera Enterprise 6.2.0，此版本包括了许多新功能，可用性改进以及性能提升。Cloudera Enterprise 6.2.0同时也包括很多组件版本的更新，如下：
现如今最热门的服务器端技术是什么？答案大概就是云原生！KubeSphere 作为一个以 Kubernetes 为内核的云原生分布式操作系统，也是这如火如荼的云原生热潮中的一份子。KubeSphere 持续秉承 100% 开源的承诺，借助于开源社区的力量，迅速走向全球。
上图是一个简化的大数据处理流程图，大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。下面我们逐一对各个环节所需要的技术栈进行讲解：
本文基于上述组件版本使用flink插入数据到hudi数据湖中。为了确保以下各步骤能够成功完成，请确保hadoop集群正常启动。
版权声明：本文为王小雷原创文章，未经博主允许不得转载 https://blog.csdn.net/dream_an/article/details/80691176
bin：存放的是我们用来实现管理脚本和使用的脚本的目录，我们对hadoop文件系统操作的时候用的就是这个目录下的脚本
ranger大数据领域的一个集中式安全管理框架，它可以对诸如hdfs、hive、kafka、storm等组件进行细粒度的权限控制。本文将介绍部署过程
使用3台虚拟机来进行搭建集群，分别为Node01、Node02、Node03。集群的规划如下：
虚拟机装机时虚拟硬盘选择了动态分配容量，以为容量不足时会自动扩充，实际上容量自动扩充是有限的，我这个上限也只有10G，两天就警告余额不足了，必须要手动扩充。
Spark开发测试运行环境安装 VirtualBox下载地址 https://www.virtualbox.org/wiki/Downloads image.png 操作系统下载地址 http:/
作者：Wangda Tan、Sunil Govindan、Zhankun Tang
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
我想使用Xshell连接Vm里面的虚拟机，所以先ifconfig查询IP，通过Xshell登录。
本文主要介绍了Docker Swarm是Docker容器的集群管理和编排工具，它能够管理和协调多个Docker容器实例，并确保应用程序的可用性和可靠性。Docker Swarm支持水平扩展和自动负载均衡，并提供了声明式编排，使得用户可以轻松管理和维护多个Docker容器。它还提供了基于Docker的轻量级虚拟机，用于部署、扩展和管理容器。在本文中，我们首先介绍了Docker Swarm的基本概念和架构，然后详细讲解了Docker Swarm的常用命令和操作，包括创建、启动、停止、滚动更新和监控等。最后，我们提供了一些实践案例，以帮助读者更好地理解和应用Docker Swarm。
share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar ：文件所在的目录 examples因为加s了肯定是多个案例
相信Docker技术大家都有所了解，单个Docker能发挥的作用毕竟有限，也不便于管理，所以Docker得组集群来使用才能发挥强大的技术优势。既然要组集群那就涉及诸如Docker的资源调度、管理等等一系列问题。目前涉及Docker集群的三个主要的技术无外乎Swarm、Kubernetes、Mesos三种。从本文开始作者将会一一实践这几种主要的Docker集群技术，话不多说，现在开始。
可以发现在一个Spark Application中，包含多个Job，每个Job有多个Stage组成，每个Job执行按照DAG图进行的。
这篇文章是基于Linux系统CentOS7搭建Hadoop-3.3.0分布式集群的详细手记。
分布式并行编程可以大幅提高程序性能，实现高效的批量数据处理。分布式程序运行在大规模计算机集群上（廉价的服务器），可以并行执行大规模数据处理任务，从而获得海量的计算能力。因此目前常用的大数据软件都可以部署在分布式计算环境种。
作为一个码农，日常的开发和学习的过程中，经常需要用到大量的Linux机器，但是我们不可能去找大量(土豪跳过)的物理机来供我们学习，因此使用虚拟机进行开发及学习是我们常用的一种方式；下面就记录一个基于VirtualBox搭建Linux(CentOS)虚拟机环境的过程；VMware虚拟机也使用过，但是使用的过程中会出现一些各种各样的问题，有时候不光影响到虚拟机的使用，甚至会影响到其他软件的使用；但是VirtualBox使用使用起来就很顺手，因此这里推荐使用VirtualBox。
Docker集群初探之：Docker Swarm cker技术大家都有所了解，单个Docker能发挥的作用毕竟有限，也不便于管理，所以Docker得组集群来使用才能发挥强大的技术优势。既然要组集群那就涉及诸如Docker的资源调度、管理等等一系列问题。目前涉及Docker集群的三个主要的技术无外乎Swarm、Kubernetes、Mesos三种。从本文开始作者将会一一实践这几种主要的Docker集群技术，话不多说，现在开始。 注意：作者的kubernetes相关实践在此 ---- 环境准备 Mac OS X
Docker Swarm 为Docker提供本地集群。Docker Swarm 0.2.0版本的集群 提供了Docker Swarm 的基本介绍，以及如何创建一个简单的具有三节点的集群。作为复习，在这里展示一下Docker Swarm的关键组件：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
