首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

【Hadoop】17-在集群上运行MapRedece

本地作业运行器使用单JVM运行一个作业,只要作业需要的所有类都在类路径(classpath)上,那么作业就可以正常执行。在分布式的环境中,情况稍微复杂一些。开始的时候作业的类必须打包成一个作业JAR文件并发送给集群。Hadoop通过搜索驱动程序的类路径自动找到该作业JAR文件,该类路径包含JonfConf或Job上的setJarByClass()方法中设置的类。另一种方法,如果你想通过文件路径设置一个指定的JAR文件,可以使用setJar()方法。JAR文件路径可以是本地的,也可以是一个HDFS文件路径。通过使用像Ant或Maven的构建工具可以方便地创建作业的JAR文件。当给定范例所示的POM时,下面的Maven命令将在包含所有已编译的类的工程目录中创建一个名为hadoop-example.jar的JAR文件:

04

Python学习笔记整理(十七)异常处理

一、异常基础 try/except:捕捉由代码中的异常并恢复,匹配except里面的错误,并自行except中定义的代码,后继续执行程序(发生异常后,由except捕捉到异常后,不会中断程序,继续执行try语句后面的程序) try/finally: 无论异常是否发生,都执行清理行为 (发生异常时程序会中断程序,只不过会执行finally后的代码) raise: 手动在代码中接触发异常。 assert: 有条件地在程序代码中触发异常。 with/as 在Python2.6和后续版本中实现环境管理器。 用户定义的异常要写成类的实例,而不是字符串、。 finally可以和except和else分句出现在相同的try语句内、 1、异常的角色 错误处理 事件通知 特殊情况处理:有时发生很罕见的情况,很难调整代码去处理。通常会在异常处理器中处理这些罕见的情况,从而省去编写应对特殊情况的代码 终止行为 非常规控制流程 >>> x='diege >>> def fetcher(obj,index): ...     return obj[index] ... >>> fetcher(x,4) 'e' >>> fetcher(x,5) Traceback (most recent call last):   File "<stdin>", line 1, in <module>   File "<stdin>", line 2, in fetcher IndexError: string index out of range >>> try: ...     fetcher(x,5)        #尝试抓取第5个字符 ... except IndexError:      #如果发生异常【指出引发的异常名称】 ...     print fetcher(x,-1)  #那就抓取最后一个字符 ... e >>> def catcher(): ...     try: ...             fetcher(x,5) ...     except IndexError: ...             print fetcher(x,-1) ...     print "continuing" ... >>> catcher()     e continuing 可以看到从异常中恢复并继续执行。 try/finally: 无论异常是否发生,都执行清理行为(发生异常时程序也会终端,只不过会执行finally后的代码) >>> try: ...     fetcher(x,4) ... finally: ...     print 'after fetch' ... 'e' after fetch 没有发生异常的情况,也执行finally语句中的代码 发生异常的情况下 >>> try: ...     fetcher(x,5)       ... finally:               ...     print 'after fetch' ... after fetch Traceback (most recent call last):   File "<stdin>", line 2, in <module>   File "<stdin>", line 2, in fetcher IndexError: string index out of range 发生异常的情况下,也执行了finally语句中的代码 实际应用镇南关,try/except的组合可用于捕捉异常并从中恢复,而try/finally的组合则很方便,可以确保无论try代码块内的 代码是否发生异常,终止行为一定会运行。如,try/except来捕捉第三方库导入的代码所引发的错误,然后以try/finally来确保 关闭文件,或者终止服务器连接等调用。 可以在同一个try语句内混合except和finally分句:finally一定回执行,无论是否有异常引发,而且不也不关异常是否被except分句捕捉到 2、try/except/else语句 try的完×××式:try/多个except/else语句 else是可选的 try首行底下的代码块代表此语句的主要动作:试着执行的程序代码。except分句定义try代码块内引发的异常处理器,而else分句(如果有)则是提供没有发生异常时候要执行的处理器。 *如果try代码块语句执行时发生了异常,Python就跳回try,执行第一个符合引发的异常的except分句下面的语句。当except代码执行后(除非 except代码块引发另一异常),控制全就会到整个try

01

记将一个大型客户端应用项目迁移到 dotnet 6 的经验和决策

在经过了两年的准备,以及迁移了几个应用项目积累了让我有信心的经验之后,我最近在开始将团队里面最大的一个项目,从 .NET Framework 4.5 迁移到 .NET 6 上。这是一个从 2016 时开始开发,最多有 50 多位开发者参与,代码的 MR 数量过万,而且整个团队没有一个人能说清楚项目里面的所有功能。此项目引用了团队内部的大量的基础库,有很多基础库长年不活跃。此应用项目当前也有近千万的用户量,迁移的过程也需要准备很多补救方法。如此复杂的一个项目,自然需要用到很多黑科技才能完成到 .NET 6 的落地。本文将告诉大家这个过程里,我踩到的坑,以及学到的知识,和为什么会如此做

01

python Debug 单步调试[通俗易懂]

一直犯愁的是python的调试,曾经写c都是编译完了用gdb直接调试了,轻松愉快。如今遇到这么一个解释型的程序。不知道怎么办了。用log吧,有时就是一个小程序,不想写这么多代码。打屏吧。有时屏幕翻得快,也是挺郁闷的。今天最终好了,看到了一个实用的东西。 PDB 方法一:执行 python -m pdb myscript.py (Pdb) 会自己主动停在第一行。等待调试,这时你能够看看 帮助 (Pdb) h 说明下这几个关键 命令 <断点设置 (Pdb)b 10 #断点设置在本py的第10行 或(Pdb)b ots.py:20 #断点设置到 ots.py第20行 删除断点(Pdb)b #查看断点编号 (Pdb)cl 2 #删除第2个断点 <执行 (Pdb)n #单步执行 (Pdb)s #细点执行 也就是会下到,方法 (Pdb)c #跳到下个断点 <查看 (Pdb)p param #查看当前 变量值 (Pdb)l #查看执行到某处代码 (Pdb)a #查看所有栈内变量 <假设是在 命令行里的调试为: import pdb def tt(): pdb.set_trace() for i in range(1, 5): print i <<< tt() #这里支持 n p c 而已 < (3)tt() (Pdb) n

03
领券