原创

2021-4-28

1. Python中.format()常见的用法:

format()后面的内容,填入大括号中(可以按位置,或者按变量);

format():把传统的%替换为{}来实现格式化输出。

详细见:https://www.cnblogs.com/jc-home/p/11630710.html

2. 神经网络模型(Backbone):

自己搭建神经网络时,一般都采用已有的网络模型,在其基础上进行修改。从2012年的AlexNet出现,如今已经出现许多优秀的网络模型,如下图所示。 主要有三个发展方向:

Deeper:网络层数更深,代表网络VggNet

Module: 采用模块化的网络结构(Inception),代表网络GoogleNet

Faster: 轻量级网络模型,适合于移动端设备,代表网络MobileNet和ShuffleNet

Functional: 功能型网络,针对特定使用场景而发展出来。如检测模型YOLO,Faster RCNN;分割模型FCN, UNet

具体介绍:https://www.cnblogs.com/silence-cho/p/11620863.html

3. del是python关键字,就像def、and、or一样。它不是字典、列表的方法,但是可以用来删除字典、列表的元素。

4. from module import name,python种的模块、库、包

5. on.environ获取系统的各种信息

6. NCCL_IB_DISABLE是什么?参考:https://baijiahao.baidu.com/s?id=1581386178946489641&wfr=spider&for=pc

NCCL是什么?NVIDIA/nccl(https://github.com/NVIDIA/nccl)

Nvidia英伟达的Multi-GPU多卡通信框架NCCL。NCCL是Nvidia Collective multi-GPU Communication Library的简称,它是一个实现多GPU的collective communication通信(all-gather, reduce, broadcast)库,Nvidia做了很多优化,以在PCIe、Nvlink、InfiniBand上实现较高的通信速度。

深度学习中常常需要多GPU并行训练,而Nvidia的NCCL库在各大深度学习框架(Caffe/Tensorflow/Torch/Theano)的多卡并行中经常被使用。

NCCL的性能参数

https://blog.csdn.net/yunlianglinfeng/article/details/105088324

NCCL_IB_DISABLE为1时禁止使用ib设备

7. Gloo-项目地址:https://github.com/facebookincubator/gloo

是一个类似MPI的通信库,你不需要考虑内存数据的拷贝,只需要实现逻辑就可以。

初始化

torch.distributed.init_process_group(backend, init_method='env://', **kwargs)

参数说明:

backend(str): 后端选择,包括上面那几种 tcp mpi gloo

init_method(str,optional): 用来初始化包的URL我理解是一个用来做并发控制的共享方式

world_size(int, optional):参与这个工作的进程数

rank(int,optional): 当前进程的rank

group_name(str,optional): 用来标记这组进程名的

参考:https://blog.csdn.net/u010557442/article/details/79431520

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 2021-05-28

    《python中数组(numpy.array)的基本操作》这篇文章ok,地址:https://blog.csdn.net/fu6543210/article/d...

    Hi0703
  • 故障分析 | 如何提高 MHA 的网络容忍能力?(上)

    爱可生交付服务部团队北京 DBA,主要负责处理 MySQL 的 troubleshooting 和我司自研数据库自动化管理平台 DMP 的日常运维问题,对数据库...

    爱可生开源社区
  • Hive经典面试题之连续登录、行转列和列转行

    在日常工作进行数据的ETL或者面试时,经常遇到类似的问题,比如"统计连续N天交易额超过100万的店铺"、"统计连续登录天数超过3天的用户"等。对于这类问题,思路...

    大数据学习与分享
  • 每天学一个 Linux 命令(57):cal

    民工哥
  • Redis系统学习之哨兵模式

    哨兵用于实现redis集群的高可用,本身也是分布式的,作为一个哨兵集群去运行,互相协同工作

    彼岸舞
  • AKShare-股票数据-公司诉讼

    本次更新上市公司的公司诉讼接口。上市公司发生的重大诉讼、仲裁事项涉及金额占公司最近一期经审计净资产绝对值 10%以上,且绝对金额超过一千万元的,应当及时披露。

    数据科学实战
  • Linux之cal命令

    原文链接:https://rumenz.com/rumenbiji/linux-cal.html

    入门笔记
  • 加密备份 MySQL

    数据库服务器运行定时备份脚本,加密备份文件,同时每日将加密后的备份文件同步到本地。

    netkiller old
  • Jmeter(四十八) - 从入门到精通高级篇 - Jmeter监控服务器性能(详解教程)

    JMeter是一款压力、接口等等的测试工具,Jmeter也可以像loadrunner一样监控服务器CPU、内存等性能参数,用来监控服务器资源使用情况,不过需要安...

    北京-宏哥
  • linux中使用script和scriptreplay进行命令操作录制与重放

    玖柒的小窝
  • TensorFlow Serving

    TensorFlow Serving[1] 可以快速部署 Tensorflow 模型,上线 gRPC 或 REST API。

    GoCoding
  • NLP笔记:常用激活函数考察整理

    这篇文章的起因是在于之前考察cross entroy相关的内容的时候,发现工具调用的太多了导致很多基础的内容被搞得生疏了,因此,就打算整两篇笔记来好好整理一下激...

    codename_cys
  • Oracle要求顺序的top数据检索问题

    今天一位朋友,提了一个很智慧的问题,Oracle查order之后的前多少条,只能用这种写法?

    bisal
  • 技术分享 | mongo 集群连接数暴涨处理案例一则

    现居珠海,先后担任专职 Oracle 和 MySQL DBA,现在主要负责 MySQL、mongoDB 和 Redis 维护工作。

    爱可生开源社区
  • 【Rust日报】2021-04-28 - Rustup 1.24.0

    ReadMore:https://github.com/rust-lang/rustup/blob/stable/CHANGELOG.md

    MikeLoveRust
  • mysql升级到最新版(mysql8.0.25)

    MYSQL 5.6 --> MySQL 5.7 --> MySQL8.0.x

    wangwei-dba
  • Loguru:更为优雅、简洁的Python 日志管理模块

    在 Python 开发中涉及到日志记录,我们或许通常会想到内置标准库 —— logging 。虽然logging 库采用的是模块化设计,可以设置不同的 hand...

    IT大咖说
  • Linux之diff命令

    原文链接:https://rumenz.com/rumenbiji/linux-diff.html

    入门笔记
  • springboot 项目的打开方式

    springboot项目有两种生成的方法,一是通过https://start.spring.io/网站,自定义生成,另外就是通过idea创建springboot...

    冬天里的懒猫

扫码关注云+社区

领取腾讯云代金券