腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
鸿的学习笔记
专栏成员
举报
330
文章
293098
阅读量
49
订阅数
订阅专栏
申请加入专栏
全部文章(330)
其他(123)
数据库(53)
python(45)
sql(44)
大数据(34)
https(32)
网络安全(28)
存储(26)
分布式(20)
编程算法(19)
scala(17)
apache(16)
机器学习(15)
神经网络(14)
hadoop(14)
mapreduce(13)
人工智能(13)
spark(13)
html(12)
深度学习(11)
开源(11)
api(9)
缓存(8)
数据分析(8)
nosql(7)
数据处理(7)
kafka(7)
oracle(6)
网站(6)
windows(6)
java(5)
云数据库 SQL Server(5)
TDSQL MySQL 版(5)
http(5)
hive(5)
数据结构(5)
云计算(5)
数据湖(5)
数据挖掘(4)
json(4)
git(4)
github(4)
linux(4)
unix(4)
文件存储(4)
erp(4)
hbase(4)
node.js(3)
容器(3)
推荐系统(3)
ntp(3)
processing(3)
javascript(2)
xml(2)
postgresql(2)
bash 指令(2)
shell(2)
zookeeper(2)
rpc(2)
微信(2)
安全(2)
腾讯云数据仓库 TCHouse(2)
官方文档(1)
NLP 服务(1)
c 语言(1)
c++(1)
bash(1)
android(1)
硬件开发(1)
sqlite(1)
云数据库 Redis(1)
memcached(1)
mvc(1)
ide(1)
搜索引擎(1)
全文检索(1)
lucene/solr(1)
容器镜像服务(1)
云数据库 MongoDB(1)
网络流日志(1)
数据加密服务(1)
腾讯云测试服务(1)
数据安全(1)
yarn(1)
kubernetes(1)
压力测试(1)
爬虫(1)
jvm(1)
卷积神经网络(1)
gui(1)
jdbc(1)
ftp(1)
udp(1)
gcc(1)
数据可视化(1)
架构设计(1)
腾讯云开发者社区(1)
jupyter notebook(1)
actor(1)
io(1)
supervisor(1)
worker(1)
备份(1)
科技(1)
搜索文章
搜索
搜索
关闭
YARN--大数据的资源管理器
yarn
node.js
容器
hadoop
mapreduce
最初,Hadoop主要限于范例MapReduce,其中资源管理由JobTracker和TaskTacker完成。JobTracker将MapReduce任务传播到集群中的特定节点,理想情况下是具有数据的节点,或者至少位于同一机架中。TaskTracker是集群中从JobTracker接受任务(Map,Reduce和Shuffle操作)的节点。由于Hadoop已经超越了MapReudce(例如HBase,Storm等),Hadoop现在在架构上将资源管理功能与MapReduce的编程模型分离,这使Hadoop集群更通用。新的资源管理器称为MapReduce 2.0(MRv2)或YARN。现在MapReduce是在YARN容器中运行的一种应用程序,其他类型的应用程序可以一般地写在YARN上运行。
哒呵呵
2018-08-06
1.2K
0
python新手应注意的一些小问题
python
容器
最重要的是看你公司喜欢哪个版本的python。。。。对于你个人而言,python2与python3的差别你可以忽略。。。。 一.注意pep8的编程风格,请记住代码是写给人看的。代码应该是整洁,让人容易找到思路。 简单来说: 1.注意缩进,每一层缩进都使用4个空格 2.每行的字符不要超过79个 3.函数和类之间应该用两个空行分隔 4.同一个类中,每个方法应该用一个空行分隔 5.为变量赋值是,赋值符号左右侧加上一个空格。其他情况,比如列表的下标获取元素时,调用函数或关键字参数赋值时,不要加空格。 6.函数,变量及属性应小写,_分隔,如sort_list。命名应尽量让人清楚,不要拼音。 7.在一个模块里的常量应该应该全大写,如ALL_CONSt 8.判断容器对象是否为空,请用if list:等 9.请不要在写if,while,for等条件语句时,只有单行 10.import语句请放在开头 大致就是这么多,其余请参考pep8编程风格。一份漂亮,易读的代码,无论是之后重构,还是维护都会让你的后来者感到你的专业性的。 二、字符编码问题 这是很重要的一点。 python2的字符类型是str和unicode,str是原始的八位值,unicode的实例包含unicode字符。 python3的字符类型是bytes和str,前者是原始的八位值,后者是unicode字符。 备注:原始的八位值就是一个字节,八个二进制位 python的历史原因(因为它太老了,以至于unicode编码提出的比他还晚),导致python2的默认编码格式为ascii。至于ascii和unicode这些编码问题,又是个庞大的问题。 在python里把unicode字符编码成二进制字符,使用encode方法,常见的编码方式是utf8,反之是decode。如下所示, a = '大' a.encode('utf8') Out[3]: b'\xe5\xa4\xa7' 这点在正则的时候尤为重要,需要全部统一为原始的二进制。 读写数据库时也应主要编码统一为utf8,使用charset='utf8' 三、应该学会使用函数 把可复用的部分,或者复杂的逻辑写成一个辅助函数。 四、列表推导 不要使用两个以上的列表推导 当使用一个时, a = [ j for j in range(12)] 这样会使人一看就明白,但是为了简洁,超过两个 a = [ i for j in range(12) for i in range(j*2)] 这就会人摸不着头脑了,请改成如下: for j in range(12): for i in range(j*2): a.append(i) 简洁明了 五、可以使用enumerate来代替range for index,element in enumerate(a): print('index',index) print('element',element) index 0 element 432 index 1 element erw 六、合理使用try/except 不要用它里抓取所有错误,然后放跑他们。最合理的应该是except语句块应该包含你所知道的错误,让你不知道得问题,没法预料的问题把程序搞崩溃吧,不要掩盖错误,而是去解决它。 七、在函数里的错误处理 在函数里应该把错误抛给调用者,并且在文档里做好说明 def divide(a, b): """ 在b为0的时候,会出现错误 """ try: return a/b except ZeroDivisionError as e: raise ValueError('invalid value') from e 八、列表迭代 在迭代时要小心,你调用过的值就不会再出现了 九、学会使用关键字参数,可以减少很多工作量 十、最最重要的一点,请为你的每一个函数和类以及模块编写文档!!!! 此外,python的性能瓶颈在程序员,实在要优化了,请学会先分析性能,在优化。
哒呵呵
2018-08-06
1K
0
Python的浅复制和深复制
python
容器
在前文已经看到过了可以使用list函数去复制一个列表,这个就是浅复制,浅复制会构建一个新的对象,并且维护之前对象(子对象)的引用,而深复制则是将之前的子对象通过递归的方式也拷贝出来。从例子中学习吧。 先看看浅复制:
哒呵呵
2018-08-06
693
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档