nvprof 使用记录; 以及使用 nvprof 查看tensorflow-gpu 核函数运行记录

最近需要使用 nvprof 此时cuda 程序运行的性能，下面对使用过程进行简要记录，进行备忘：

• 常用使用命令：nvprof --unified-memory-profiling off python run.py （这是因为某块内存被设置了不允许分析，导致）参考：https://docs.nvidia.com/cuda/profiler-users-guide/index.html#unified-memory-profiling
• nvprof --unified-memory-profiling off python run.py （2>run.txt 1>out.txt）
• nvprof --unified-memory-profiling off --print-gpu-trace python run.py 
• nvprof --unified-memory-profiling off --print-gpu-trace -o prof.nvvp python run.py
• nvvp prof.nvvp (使用 x11 forwarding) 
• ./run.sh 2>runsh_out.txt 

Non-Visual Profiler 和 Visual Profiler  的使用：

# nvprof
nvprof python train_mnist.py 
nvprof --print-gpu-trace python train_mnist.py 

#nvvp (可以使用x11 forwarding 使用，当然更适合在本机使用)
nvprof -o prof.nvvp python train_mnist.py （在GPU集群上生成 .nvvp文件）
scp your_gpu_machine:/path/to/prof.nvvp . （scp 拷贝文件到本地）
nvvp prof.nvvp （在本地机器上进行可视化分析）

参考链接：

https://blog.csdn.net/yinhuier/article/details/80551268 （简单使用教程）

https://docs.nvidia.com/cuda/profiler-users-guide/index.html （nvidia 官网教程）

https://gist.github.com/sonots/5abc0bccec2010ac69ff74788b265086 （一个日本工程师写的文档，不错，本文大多命令摘自此文档，文档中有较为详细的实例截图，可以参考）

https://blog.csdn.net/haoqimao_hard/article/details/80557740 (CSDN 上较为简洁的博客，可以参考使用)

https://indico-jsc.fz-juelich.de/event/32/material/0/5.pdf (德国一个简单介绍的资料)

保持更新，更多内容请关注 cnblogs.com/xuyaowen; 如果对您有帮助，还请点击推荐或关注~！