腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

鸿的学习笔记

专栏作者

330

文章

281853

阅读量

49

订阅数

YARN--大数据的资源管理器

yarn node.js 容器 hadoop mapreduce

最初，Hadoop主要限于范例MapReduce，其中资源管理由JobTracker和TaskTacker完成。JobTracker将MapReduce任务传播到集群中的特定节点，理想情况下是具有数据的节点，或者至少位于同一机架中。TaskTracker是集群中从JobTracker接受任务（Map，Reduce和Shuffle操作）的节点。由于Hadoop已经超越了MapReudce（例如HBase，Storm等），Hadoop现在在架构上将资源管理功能与MapReduce的编程模型分离，这使Hadoop集群更通用。新的资源管理器称为MapReduce 2.0（MRv2）或YARN。现在MapReduce是在YARN容器中运行的一种应用程序，其他类型的应用程序可以一般地写在YARN上运行。

2018-08-06

1.1K0

python新手应注意的一些小问题

最重要的是看你公司喜欢哪个版本的python。。。。对于你个人而言，python2与python3的差别你可以忽略。。。。一.注意pep8的编程风格，请记住代码是写给人看的。代码应该是整洁，让人容易找到思路。简单来说： 1.注意缩进，每一层缩进都使用4个空格 2.每行的字符不要超过79个 3.函数和类之间应该用两个空行分隔 4.同一个类中，每个方法应该用一个空行分隔 5.为变量赋值是，赋值符号左右侧加上一个空格。其他情况，比如列表的下标获取元素时，调用函数或关键字参数赋值时，不要加空格。 6.函数，变量及属性应小写，_分隔，如sort_list。命名应尽量让人清楚，不要拼音。 7.在一个模块里的常量应该应该全大写，如ALL_CONSt 8.判断容器对象是否为空，请用if list:等 9.请不要在写if,while,for等条件语句时，只有单行 10.import语句请放在开头大致就是这么多，其余请参考pep8编程风格。一份漂亮，易读的代码，无论是之后重构，还是维护都会让你的后来者感到你的专业性的。二、字符编码问题这是很重要的一点。 python2的字符类型是str和unicode，str是原始的八位值，unicode的实例包含unicode字符。 python3的字符类型是bytes和str，前者是原始的八位值，后者是unicode字符。备注：原始的八位值就是一个字节，八个二进制位 python的历史原因（因为它太老了，以至于unicode编码提出的比他还晚），导致python2的默认编码格式为ascii。至于ascii和unicode这些编码问题，又是个庞大的问题。在python里把unicode字符编码成二进制字符，使用encode方法，常见的编码方式是utf8，反之是decode。如下所示， a = '大' a.encode('utf8') Out[3]: b'\xe5\xa4\xa7' 这点在正则的时候尤为重要，需要全部统一为原始的二进制。读写数据库时也应主要编码统一为utf8,使用charset='utf8' 三、应该学会使用函数把可复用的部分，或者复杂的逻辑写成一个辅助函数。四、列表推导不要使用两个以上的列表推导当使用一个时， a = [ j for j in range(12)] 这样会使人一看就明白，但是为了简洁，超过两个 a = [ i for j in range(12) for i in range(j*2)] 这就会人摸不着头脑了，请改成如下： for j in range(12): for i in range(j*2): a.append(i) 简洁明了五、可以使用enumerate来代替range for index,element in enumerate(a): print('index',index) print('element',element) index 0 element 432 index 1 element erw 六、合理使用try/except 不要用它里抓取所有错误，然后放跑他们。最合理的应该是except语句块应该包含你所知道的错误，让你不知道得问题，没法预料的问题把程序搞崩溃吧，不要掩盖错误，而是去解决它。七、在函数里的错误处理在函数里应该把错误抛给调用者，并且在文档里做好说明 def divide(a, b): """ 在b为0的时候，会出现错误 """ try: return a/b except ZeroDivisionError as e: raise ValueError('invalid value') from e 八、列表迭代在迭代时要小心，你调用过的值就不会再出现了九、学会使用关键字参数，可以减少很多工作量十、最最重要的一点，请为你的每一个函数和类以及模块编写文档！！！！此外，python的性能瓶颈在程序员，实在要优化了，请学会先分析性能，在优化。

2018-08-06

9870

Python的浅复制和深复制

在前文已经看到过了可以使用list函数去复制一个列表，这个就是浅复制，浅复制会构建一个新的对象，并且维护之前对象(子对象)的引用，而深复制则是将之前的子对象通过递归的方式也拷贝出来。从例子中学习吧。先看看浅复制：

2018-08-06

6780

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态