MapReduce 是一种编程模型，用于处理和生成大型数据集。其主要流程包括以下两个阶段： 1. Map 阶段：在这个阶段，输入数据被分割成多个数据块，然后由不同的 Map 任务并行处理。Map 任务的主要目的是将输入数据转换成键值对（key-value pairs）形式。这些键值对会根据键进行排序和分组，以便在 Reduce 阶段进行处理。 例如，在处理一组文本文件时，Map 任务可能会将每个单词作为键，出现次数作为值。这样，具有相同单词的键值对会被分组在一起，为 Reduce 阶段的处理做好准备。 2. Reduce 阶段：在这个阶段，Map 阶段产生的键值对会根据键进行聚合。Reduce 任务会对每个键对应的一组值进行处理，以生成最终结果。这个阶段通常涉及到对值的汇总、计算平均值或执行其他聚合操作。 例如，在上述单词计数的例子中，Reduce 任务会将每个单词的出现次数相加，得到每个单词在整个数据集中的总出现次数。 腾讯云相关产品推荐：腾讯云大数据（Data Lake）和腾讯云数据处理（DataFlow）可以帮助您实现 MapReduce 计算，处理和分析大型数据集。这些产品提供了可扩展的计算能力，支持多种数据处理和分析任务，可以有效地提高数据处理效率。... 展开详请

MapReduce中的Map阶段的主要流程如下： 1. 输入分割：将输入数据分成若干个独立的数据块，每个数据块由一个Map任务处理。这些数据块通常是输入数据的一部分，例如文件的一部分或者数据库的一部分。 2. 数据处理：Map任务对每个数据块进行处理，通常是通过键值对的形式进行处理。Map函数会将输入数据转换成一组键值对，这些键值对会根据键进行排序和分组，然后传递给Reduce阶段进行处理。 3. 输出写入：Map任务将处理后的键值对写入本地磁盘，并将这些数据分成若干个分区。这些分区会根据键值对的键进行哈希分区，以便在Reduce阶段进行处理。 腾讯云相关产品推荐：腾讯云的数据处理服务，如腾讯云大数据平台（TDSQL）和腾讯云数据湖分析（DLA），可以帮助用户进行大规模数据的处理和分析，支持MapReduce等数据处理框架。... 展开详请

MapReduce和Spark都是大数据处理框架，但它们在处理数据的方式和性能上有很大的区别。 MapReduce是一种基于分布式计算的编程模型，它将大数据集分成多个小块，然后在多台计算机上并行处理这些小块。MapReduce的主要步骤是Map（映射）和Reduce（归约）。在Map阶段，输入数据被分解成键值对，然后根据键进行分组。在Reduce阶段，具有相同键的值被合并在一起，以生成最终结果。MapReduce的优点是它可以在大规模集群上并行处理大量数据，但它的缺点是它的编程模型相对简单，不适合处理复杂的数据处理任务。 Spark是一种基于内存计算的大数据处理框架，它可以在内存中处理大量数据，比MapReduce更快。Spark的主要优点是它提供了一种更灵活的编程模型，支持多种数据处理任务，包括批处理、流处理、机器学习和图计算。Spark还提供了一个名为Spark SQL的模块，可以处理结构化和半结构化数据。Spark的缺点是它需要更多的内存资源，可能需要更高的硬件成本。 总之，MapReduce和Spark都是大数据处理框架，但它们在处理数据的方式和性能上有很大的区别。MapReduce是一种基于分布式计算的编程模型，适合处理大量数据，但编程模型相对简单。Spark是一种基于内存计算的大数据处理框架，提供了一种更灵活的编程模型，支持多种数据处理任务，但需要更多的内存资源。在选择大数据处理框架时，应根据具体的应用场景和需求进行选择。如果您需要处理大量数据，并且对性能有较高要求，可以考虑使用腾讯云的Spark产品。... 展开详请

为了通过MapReduce向MySQL写入大量数据，您可以遵循以下步骤： 1. 数据预处理：在将数据写入MySQL之前，您需要对数据进行预处理。这可能包括数据清洗、数据转换和数据分区等操作。 2. 使用MapReduce框架：选择一个适合您的MapReduce框架，例如Hadoop MapReduce、Apache Tez或Apache Flink。这些框架可以帮助您处理大量数据并将其分发到多个节点。 3. 编写MapReduce作业：编写一个MapReduce作业，该作业将读取预处理后的数据，并将其转换为适合写入MySQL的格式。您可以使用Java、Python或其他支持的语言编写MapReduce作业。 4. 配置输出格式：在MapReduce作业中，您需要配置输出格式，以便将数据写入MySQL。您可以使用JDBC或其他数据库连接器将数据写入MySQL。 5. 执行MapReduce作业：在完成MapReduce作业的编写和配置后，您可以将其提交到Hadoop集群或其他支持的平台上执行。 6. 监控和优化：在MapReduce作业执行过程中，您需要监控作业的执行情况，以便发现并解决任何问题。您还可以根据需要优化作业的性能。 7. 数据验证：在数据写入MySQL之后，您需要验证数据的正确性和完整性。您可以使用MySQL查询或其他工具来检查数据。 在整个过程中，腾讯云提供了多种云计算服务，例如云数据库MySQL、云服务器CVM和云数据处理CDE，可以帮助您更轻松地处理大量数据。您可以根据自己的需求选择合适的云计算服务，以提高数据处理和写入的效率。... 展开详请

1）排序的分类： （1）部分排序： MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部排序。 （2）全排序： 如何用Hadoop产生一个全局排序的文件？最简单的方法是使用一个分区。但该方法在处理大型文件时效率极低，因为一台机器必须处理所有输出文件，从而完全丧失了MapReduce所提供的并行架构。 替代方案：首先创建一系列排好序的文件；其次，串联这些文件；最后，生成一个全局排序的文件。主要思路是使用一个分区来描述输出的全局排序。例如：可以为待分析文件创建3个分区，在第一分区中，记录的单词首字母a-g，第二分区记录单词首字母h-n, 第三分区记录单词首字母o-z。 （3）辅助排序：（GroupingComparator分组） Mapreduce框架在记录到达reducer之前按键对记录排序，但键所对应的值并没有被排序。甚至在不同的执行轮次中，这些值的排序也不固定，因为它们来自不同的map任务且这些map任务在不同轮次中完成时间各不相同。一般来说，大多数MapReduce程序会避免让reduce函数依赖于值的排序。但是，有时也需要通过特定的方法对键进行排序和分组等以实现对值的排序。 （4）二次排序： 在自定义排序过程中，如果compareTo中的判断条件为两个即为二次排序。 2）自定义排序WritableComparable bean对象实现WritableComparable接口重写compareTo方法，就可以实现排序 发生阶段有两个 （1）一个是在map side发生在spill后partition前。 （2）一个是在reduce side发生在copy后 reduce前。 ———————————————— 版权声明：本文为CSDN博主「小蚂蚁爱吃肉」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/qq_38603049/article/details/102741572... 展开详请

软件环境： 虚拟机：VMware Pro14 Linux：CentOS-6.4（下载地址，下载DVD版本即可） JDK：OpenJDK1.8.0 （强力建议不要使用 Oracle 公司的 Linux 版本的 JDK） Hadoop：2.6.5（下载地址） 虚拟机的安装和Linux系统的安装这里就省略了，可以参照网上的教程安装，一般没什么大问题，需要注意的是记住这里你输入的用户密码，下面还要用，如下图所示。 📷 设置用户密码.png 用户选择 使用虚拟机安装好系统后，可以看到登录界面，如下图所示。 📷 进入系统.png 选择 Other ，在 Username 输入框中输入 root，回车，再在 Password 输入框中输入你创建用户时密码。root 用户是安装 CentOS 自动创建的超级用户，但密码和你安装系统时创建的普通用户密码是一样的。 平时在使用 CentOS 时，并不推荐使用 root 用户，因为该用户具有整个系统的最高权限，使用该用户可能会导致严重的后果，但前提是你对 Linux 很熟，才会误操作。搭建 Hadoop 的大数据平台，使用普通用户，很多命令需要 sudo 命令来获取 root 用户的权限，比较麻烦，所以索性直接使用 root 用户。 安装SSH 集群、单节点模式都需要用到 SSH 登陆（类似于远程登陆，你可以登录某台 Linux 主机，并且在上面运行命令)。 首先确保你的 CentOS 系统可以正常的上网，你可以查看桌面右上角的网络图标，若显示红叉则表明未联网，可点击选择可用网络，也可以使用桌面左上角的火狐浏览器输入网址验证是否网络连接正常。如果还是无法上网，检查虚拟机的设置，选用 NAT 模式，或者上网百度解决。 📷 检查网络状况.png 确定网络连接正常后，打开 CentOS 的终端，可在 CentOS 的桌面点击鼠标右键，选择 Open In Terminal，如下图所示。 📷 打开终端.png 一般情况下，CentOS 默认已安装了 SSH client、SSH server，可打开终端执行如下命令进行检验： rpm -qa | grep ssh 如果返回的结果如下图所示，包含了 SSH client 跟 SSH server，则不需要再安装。 📷 查看SSH是否已安装.png 如果需要安装，则可以通过 yum 这个包管理器进行安装。（安装过程中会让你输入 [y/N]，输入 y 即可） 注意：命令是单条执行的，不是直接把两条命令粘贴过去。 终端中的粘贴可通过鼠标点击右键选择 Paste 粘贴，也可通过快捷键 【Shift + Insert】粘贴。 yum install openssh-clients yum install openssh-server SSH安装完成后，执行如下命令测试一下 SSH 是否可用（SSH首次登陆提示 yes/no 信息，输入 yes 即可，然后按照提示输入 root 用户的密码，这样就登录到本机了），如下图所示。 📷 首次登录SSH.png 但这样登陆需要每次都输入密码，我们需要配置成SSH无密码登陆比较方便。 首先输入 exit 退出刚才的 ssh，就回到了我们原先的终端窗口，然后利用 ssh-keygen 生成密钥，并将密钥加入到授权中。 exit # 退出刚才的 ssh localhost cd ~/.ssh/ # 若提示没有该目录，请先执行一次ssh localhost ssh-keygen -t rsa # 会有提示，都按回车即可 cat id_rsa.pub >> authorized_keys # 加入授权 chmod 600 ./authorized_keys # 修改文件权限 此时再用 ssh localhost 命令，无需输入密码就可以直接登陆了，如下图所示。 📷 再次登录SSH.png 安装 Java 环境 Java 环境可选择 Oracle 的 JDK，或是 OpenJDK（可看作 JDK 的开源版本），现在一般 Linux 系统默认安装的基本是 OpenJDK，这里安装的是 OpenJDK1.8.0版本的。 有的 CentOS 6.4 默认安装了 OpenJDK 1.7，这里我们可以使用命令检查一下，和 Windows 下的命令一样，还可以查看 JAVA_HOME 这个环境变量的值。 java -version # 查看 java 的版本 javac -version # 查看编译命令 Javac 的版本 echo $JAVA_HOME # 查看 $JAVA_HOME 这个环境变量的值 如果系统没有安装 OpenJDK，我们可以通过 yum 包管理器来安装。（安装过程中会让输入 [y/N]，输入 y 即可） yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel #安装 openjdk1.8.0 通过上述命令安装 OpenJDK，默认安装位置为 /usr/lib/jvm/java-1.8.0，下面配置 JAVA_HOME 时就使用这个位置。 接着需要配置一下 JAVA_HOME 环境变量，为了方便，直接在 ~/.bashrc 中进行设置，相当于配置的是 Windows 的用户环境变量，只对单个用户生效，当用户登录后，每次打开 shell 终端，.bashrc 文件都会被读取。 修改文件，可以直接使用 vim 编辑器打开文件，也可以使用类似于 Windows 记事本的 gedit 文本编辑器。 下面命令任选其一。 vim ~/.bashrc # 使用 vim 编辑器在终端中打开 .bashrc 文件 gedit ~/.bashrc # 使用 gedit 文本编辑器打开 .bashrc 文件 在文件最后面添加如下单独一行（指向 JDK 的安装位置），并保存。 📷 配置JAVA_HOME环境变量.png 接着还需要让该环境变量生效，执行如下命令。 source ~/.bashrc # 使变量设置生效 设置好后我们来检验一下是否设置正确，如下图所示。 echo $JAVA_HOME # 检验变量值 java -version javac -version $JAVA_HOME/bin/java -version # 与直接执行 java -version 一样 📷 检查JAVA_HOME环境变量是否配置正确.png 这样，Hadoop 所需的 Java 运行环境就安装好了。 安装 Hadoop 在前面软件环境已经给出了 hadoop2.6.5 的下载地址，可以直接通过火狐浏览器打开下载，默认下载位置是在用户的 Home 中的 Downloads 文件夹下，如下图所示。 📷 下载Hadoop.png 下载完成后，我们将 Hadoop 解压到 /usr/local/ 中。 tar -zxf ~/下载/hadoop-2.6.5.tar.gz -C /usr/local # 解压到/usr/local目录中 cd /usr/local/ # 切换当前目录为 /usr/local 目录 mv ./hadoop-2.6.5/ ./hadoop # 将文件夹名改为hadoop chown -R root:root ./hadoop # 修改文件权限，root 是当前用户名 Hadoop 解压后即可使用，输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息。 cd /usr/local/hadoop # 切换当前目录为 /usr/local/hadoop 目录 ./bin/hadoop version # 查看 Hadoop 的版本信息 或者直接输入 hadoop version 命令也可以查看。 hadoop version # 查看 Hadoop 的版本信息 📷 查看Hadoop版本信息.png Hadoop 安装方式有三种，分别是单机模式，伪分布式模式，分布式模式。 单机模式：Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。 伪分布式模式：Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。 分布式模式：使用多个节点构成集群环境来运行Hadoop，需要多台主机，也可以是虚拟主机。 Hadoop 伪分布式配置 现在我们就可以来使用 Hadoop 运行一些例子，Hadoop 附带了很多的例子，可以运行 hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar 看到所有的例子。 我们这里来运行一个查询的例子，将 input 文件夹作为输入文件夹，筛选当中符合正则表达式 dfs[a-z.]+ 的单词，统计它的次数，将筛选结果输出到 output 文件夹中。 cd /usr/local/hadoop # 切换当前目录为 /usr/local/hadoop 目录 mkdir ./input # 在当前目录下创建 input 文件夹 cp ./etc/hadoop/*.xml ./input # 将 hadoop 的配置文件复制到新建的输入文件夹 input 中 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' cat ./output/* # 查看输出结果 通过命令 cat ./output/* 查看结果，符合正则的单词 dfsadmin 出现了 1次。 📷 运行测试Hadoop例子.png 若运行出错，如出现如下图提示。 📷 运行Hadoop例子出错.png 若出现提示 “WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable”，该 WARN 提示可以忽略，不影响 Hadoop 正常运行。 注意：Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 output 文件夹删除。 rm -rf ./output # 在 /usr/local/hadoop 目录下执行 测试我们的 Hadoop 安装没有问题，我们可以开始设置 Hadoop 的环境变量，同样在 ~/.bashrc 文件中配置。 gedit ~/.bashrc # 使用 gedit 文本编辑器打开 .bashrc 文件 在 .bashrc 文件最后面增加如下内容，注意 HADOOP_HOME 的位置对不对，如果都是按照前面的配置，这部分可照抄。 # Hadoop Environment Variables export HADOOP_HOME=/usr/local/hadoop export HADOOP_INSTALL=$HADOOP_HOME export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 📷 Hadoop环境变量的配置.png 保存后记得关掉 gedit 程序，否则会占用终端，无法执行下面的命令，可以按 【Ctrl + C】键终止该程序。 保存后，不要忘记执行如下命令使配置生效。 source ~/.bashrc Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 下，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。 修改配置文件 core-site.xml (通过 gedit 编辑会比较方便，输入命令， gedit ./etc/hadoop/core-site.xml)。 在 <configuration></configuration> 中间插入如下的代码。 <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 同样的，修改配置文件 hdfs-site.xml，gedit ./etc/hadoop/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> </configuration> 配置完成后，执行 NameNode 的格式化。（Hadoop 首次启动需要该命令） hdfs namenode -format 成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。 📷 NameNode格式化.png 接下来启动 Hadoop。 start-dfs.sh # 开启 NameNode 和 DataNode 进程 若出现如下 SSH 的提示 “Are you sure you want to continue connecting”，输入 yes 即可。 📷 启动Hadoop注意事项.png 启动完成后，可以通过命令 jps 来判断是否成功启动，若出现下面 NameNode、DataNode、SecondaryNameNode、Jps 四个进程，则 Hadoop 启动成功。 jps # 查看进程判断 Hadoop 是否启动成功 📷 判断Hadoop是否启动成功.png 成功启动后，也可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。 📷 Hadoop正常启动Web界面.png 启动YARN YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性。（伪分布式不启动 YARN 也可以，一般不会影响程序执行） 上述通过 start-dfs.sh 命令启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。 首先修改配置文件 mapred-site.xml，需要先将 mapred-site.xml.template 文件的重命名为 mapred-site.xml。 mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml # 文件重命名 gedit ./etc/hadoop/mapred-site.xml # 用gedit 文本编辑器打开 <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 接着修改配置文件 yarn-site.xml。 gedit ./etc/hadoop/yarn-site.xml # 用gedit 文本编辑器打开 <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 然后就可以启动 YARN 了，执行 start-yarn.sh 命令。 注意：在启动 YARN 之前，要确保 dfs Hadoop 已经启动，也就是执行过 start-dfs.sh。 start-yarn.sh # 启动YARN mr-jobhistory-daemon.sh start historyserver # 开启历史服务器，才能在Web中查看任务运行情况 开启后通过 jps 查看，可以看到多了 NodeManager 和 ResourceManager 两个进程，如下图所示。 📷 启动YARN.png 启动 YARN 之后，运行实例的方法还是一样的，仅仅是资源管理方式、任务调度不同。启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况：http://localhost:8088/cluster 如下图所示。 📷 YARN的Web界面.png YARN 主要是为集群提供更好的资源管理与任务调度，如果不想启动 YARN，务必把配置文件 mapred-site.xml 重命名，改成 mapred-site.xml.template，需要用时改回来就行。否则在该配置文件存在，而未开启 YARN 的情况下，运行程序会提示 “Retrying connect to server: 0.0.0.0/0.0.0.0:8032” 的错误，这也是为何该配置文件初始文件名为 mapred-site.xml.template。 关闭 YARN 的命令如下，开启是 start，关闭是 stop。 stop-yarn.sh mr-jobhistory-daemon.sh stop historyserver 在平时的学习中，我们使用伪分布式就足够了。... 展开详请

Hadoop是一个处理和存储巨大数据集的框架。Hadoop主要由俩部分组成：处理单元和存储单元。而MapReduce就是Hadoop的一个编程模型，主要用于处理存储在Hadoop框架中的大量数据。在完全分布式或伪分布式群集中安装Hadoop时，MapReduce主要是作为服务使用，可以在其中编写并行程序进行分布式执行数据计算。MapReduce有两个独立的进程 : Mapper阶段：将原始文件作为输入，并将需要的输出键和输出值分开。 Reducer阶段 ：将根据密钥对数据进行分组，然后汇总所有输出密钥和输出值。 Reducer然后将输出发送到HDFS，即Hadoop分布式文件系统。 NoSQL是非结构化数据库，和常见的数据库不同的是，它没有按照数据库范式的约定进行设计，正是这个特性，带来了强大的灵活操作性。另外NoSQL比起常规数据库来要快得多，非常适合进行大数据处理。这个特性正是大数据技术所需要的。但NoSQL技术尚未成熟，不过前景发展个人很看好。 而HDFS是一个分布式文件系统,具有以下特性： HDFS针对大文件的流式访问进行了优化。HDFS会把一个整体的大数据集分成分布式的小数据单元。比如100G的数据分别在HDFS上存储100 MB左右的文件，然后通过上面提到的MapReduce进行批处理。 HDFS文件视为一次写入和多次读取文件。没有随机写入的概念。 HDFS不会进行随机读取。 在这里在补充一下，HBase和Hive。 HBase是一个将数据存储在分布式文件系统中的数据库。HBase和HDFS之间是紧密集成的。HBase提供以下： 低延迟访问大型数据集内的少量数据。 使用数据模型并使用行键对数据进行索引。 快速扫描表。 根据写入和总数据量进行扩展。 Hive是Hadoop中的数据仓库应用程序 一种类似于SQL的语言（称为HQL），主要用于创建map-reduce和Tez作业的应用程序 相等的，PIG和HIve一样是位于Hadoops上的查询语言。两种语言都可以在Hadoop框架上运行，但有所差异，可通过互联网搜索到。... 展开详请

没挂，这和服务器与实验室没多大关系，这是Hadoop的通病。 解决方法：先用./zkServer.sh start 启动各个zookeeper，再用./ hadoop-daemon.sh start journalnode启动各个NodeName上的 JournalNode进程。然后再进行格式化即可。... 展开详请

hadoop是分布式系统基础架构，MapReduce才是用于大规模数据集的并行运算，在说说云计算，云计算的这个概率太广泛了，100个人出来有一百种解释。再说说三种的区别，答案就是：这三个根本就不是同一类型的东西。只能说这三个东西的关系是什么？ 先说说hadoop和MaopReduce 的关系 hadoop：框架 MapReduce：模式。 Hadoop与MapReduce的关系：hadoop框架实现mapreduce模式 简单的说就是：hadoop的框架采取mapreduce的模式处理海量数据 在说说云计算与hadoop和MaopReduce 的关系 注：“云计算”是一个概念词。（本回答以计算方面解释） 云计算：大型可扩展计算器（简称：载体 ） 关系：利用hadoop的框架并采取mapreduce的模式在云计算大型的计算能力下处理海量数据 在这里在说说，云计算具备扩展性（这个简单的说就是：一台服务器的计算处理能不够，你可以立马在买一台一起处理）所以有了伪分布式hadoop和完全分布式 本回答支持转载和抄袭，不需要注明出处，不需要授权 ... 展开详请