首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

【Hadoop】17-在集群上运行MapRedece

本地作业运行器使用单JVM运行一个作业,只要作业需要的所有类都在类路径(classpath)上,那么作业就可以正常执行。在分布式的环境中,情况稍微复杂一些。开始的时候作业的类必须打包成一个作业JAR文件并发送给集群。Hadoop通过搜索驱动程序的类路径自动找到该作业JAR文件,该类路径包含JonfConf或Job上的setJarByClass()方法中设置的类。另一种方法,如果你想通过文件路径设置一个指定的JAR文件,可以使用setJar()方法。JAR文件路径可以是本地的,也可以是一个HDFS文件路径。通过使用像Ant或Maven的构建工具可以方便地创建作业的JAR文件。当给定范例所示的POM时,下面的Maven命令将在包含所有已编译的类的工程目录中创建一个名为hadoop-example.jar的JAR文件:

04

线程基础必知必会(一)

从这篇文章开始,我将利用两篇文章讲解线程的基础知识,本篇文章涉及到了 创建线程、线程等待、线程暂停、线程终止 和 线程状态检测 相关的内容。这篇文章及其下一篇文章是这个专题的基础中的基础,因此我会用简单易懂的语言和示例代码来讲解,以求您在阅读完文章后能为后续线程其他只是打下坚实的基础。学习这张篇文章你需要具备 C# 语言基础和 Microsoft Visual Studio 2015 及以上任何版本。 所谓的线程,就是操作系统利用某种方式将计算单元分割成大量的虚拟进程,然后赋予这些虚拟进程一定的计算能力。这里需要注意,因为创建和使用多线程是一个消耗大量操作系统资源的过程,因此当只有一个单核处理器时多线程会导致操作系统忙于管理这些线程,进而无法运行程序甚至有时操作系统本身也会无法正常运行(即使操作系统访问处理器的优先级最高,也依然会出现这种问题)。因此目前主流的处理器都是多核心处理器,并且计算能力也是相当的高,但是我们不能因为硬件提高了而忽略软件的发展,目前主流的开发语言都支持多线程处理。废话不多说现在我们开始线程基础的第一篇。

01
领券