选自pythonfiles.wordpress 机器之心编译 参与：Panda、蒋思源 近日，Python Files 博客发布了几篇主题为「Hunting Performance in Python Code」的系列文章，对提升 Python 代码的性能的方法进行了介绍。在其中的每一篇文章中，作者都会介绍几种可用于 Python 代码的工具和分析器，以及它们可以如何帮助你更好地在前端（Python 脚本）和/或后端（Python 解释器）中找到瓶颈。机器之心对这个系列文章进行了整理编辑，将其融合成了这一篇
在Python中，每个类都可以有实例属性。 默认情况下，Python使用一个字典来存储一个对象的实例属性。 这是非常有用的，因为它允许在运行时设置任意的新属性。
笔者在执行一个Jax的任务中，又发现了一个奇怪的问题，就是明明只分配了很小的矩阵空间，但是在多次的任务执行之后，显存突然就爆了。而且此时已经按照Jax的官方说明配置了XLA_PYTHON_CLIENT_PREALLOCATE这个参数为false，也就是不进行显存的预分配（默认会分配90%的显存空间以供使用）。然后在网上找到了一些类似的问题，比如参考链接中的1、2、3、4，都是在一些操作后发现未释放显存，这里提供一个实例问题和处理的思路，如果有更好的方案欢迎大家在评论区留言。
本文将介绍多种Python对象分别所占用的内存，并解释所选择的测量方法和函数，为节省内存提供建议。
随着模型运算量的增长和硬件技术的发展，使用GPU来完成各种任务的计算已经渐渐成为算法实现的主流手段。而对于运行期间的一些GPU的占用，比如每一步的显存使用率等诸如此类的信息，就需要一些比较细致的GPU信息读取的工具，这里我们重点推荐使用py3nvml来对python代码运行的一个过程进行监控。
虽然很多人都认为Python是一个“慢”语言，但其实很多时候，导致程序慢的原因并不是语言的锅，而是代码写得不够好。所以在程序运行过程中，如果发现运行时间太长或者内存占用过大，就需要对程序的执行过程进行一些监测，找到有问题的地方，进行优化。今天我们就来分享一些平时能用上的Python性能分析工具。
很多人脸识别算法都是以分类的方式进行训练的，分类的训练方式中存在一个很大的问题，就是模型的最后一个全连接层的参数量太大了，以512为特征为例：
作用：memory_profiler是用来分析每行代码的内存使用情况 使用方法一： 1.在函数前添加 @profile 2.运行方式： python -m memory_profiler memory_profiler_test.py 此方法缺点：在调试 和 实际项目运行时 要 增删 @profile 此装饰器 代码如下： 1 #coding:utf8 2 3 @profile 4 def test1(): 5 c=0 6 for item
输入和输出通过In/Out标签标示，实际上In和Out分别是两个变量，保存了最近的输入输出信息。可以直接通过下标获取之前的输入或者输出。
部署KYC人脸对比服务，需要GPU支持，生产环境都是容器，所以就需要捣鼓下docker如何支持GPU。
在对系统或应用程序速度减慢或行为异常进行故障排除时，首先要检查的问题之一是系统内存使用情况。
了解Python代码的内存消耗是每一个开发人员都必须要解决的问题，这个问题不仅在我们使用pandas读取和处理CSV文件的时候非常重要，在我们使用GPU训练的时候还需要规划GPU的显存使用。尤其是我们在白嫖使用kaggle和colab时显得更为重要。
监控网卡流量 #!/usr/bin/python import re import os #get SNMP-MIB2 of the devices def getAllitems(host,oid): sn1 = os.popen('snmpwalk -v 2c -c public ' + host + ' ' + oid).read().split('\n')[:-1] return sn1
描述: Kubernetes 自从1.7开始，可以在 pod 的container 内获取pod的spec,metadata 等源数据信息，实际上是使用 downward API 通过环境变量把自身的信息呈现给 Pod 中运行的容器。
几年前使用icinga2和nagios plugins搭建了主机监控，后来为了方便监控网络设备使用centron获取snmp信息，再加上自己写的一些监控插件，基本完善了监控项目（主机，网络设备，各种操作系统，数据库，中间件，各种服务）。
在排查系统问题，或者应用变慢，或者不明原因问题时，第一件事就是要检查系统的内存使用率。
相信日常使用Python作为生产力的读者，一定会存在想要分析代码中每一行的运行时间与变量占用内存大小的需求，本文主要分析两个模块，用于分析每行代码的内存使用情况和运行时间情况。
Amber是一套分子动力学模拟程序，我们今天来说下如何使用云服务器安装部署这套程序。
你们大多数人可能用过或听说过 Youtube-dl，这个命令行程序可以从包括 Youtube 在内的 100+ 网站下载视频。我偶然发现了一个类似的工具，名字叫做 You-Get。这是一个 Python 编写的命令行下载器，可以让你从 Youtube、Facebook、Twitter 等很多热门网站下载图片，音频和视频（LCTT 译注：首先，它们得是存在的网站）。目前该下载器支持 80+ 站点，点击这里查看所有支持的网站。
Julia是一门为科学计算而生的编程语言，其着重强调了开源、生态与性能。从开源角度来说，相比于Matlab就要友好很多，用户可以免费使用，而且MIT协议应该是最宽松的开源协议之一：
在使用Ubuntu或者Windows执行一些复杂数据运算时，需要关注下CPU、GPU以及内存占用量，如果数据运算超出了负荷，会产生难以预测的错误。本文将演示如何用简单地方式，实时监控Ubuntu或者Windows的CPU、GPU以及内存占用量，教会大家如何实时监控电脑状态。
本文是介绍SNMP在Windows和Linux（Ubuntu）下的安装，以及通过Python调用其接口的文章。
我的ubuntu18现在 Adsl连接出现问题，在网络哪里找不到宽带连接，做一个问题解决方案。 这是参考文献: ubuntu下pppoe拨号 ubuntu的ADSL拨号上网主要是无线网情况下 ADSL（PPPOE）接入指南 ubuntu 16.04 上不了网？DSL消失？更新网卡驱动？ Ubuntu16.04怎么设置宽带连接 ubuntu16.04拨号上网及无线驱动安装 Ubuntu更换网卡驱动 升级Ubuntu 16.04 LTS后 DSL拨号上网(ppp)连接自动断开解决办法 ubun
Julia是一门为科学计算而生的编程语言，其着重强调了开源、生态与性能。从开源角度来说，相比于Matlab就要友好很多，用户可以免费使用，而且MIT协议应该是最宽松的开源协议之一（截图来自于参考链接3）：
iReasoning MIB浏览器是一个强大和易于使用的工具由iReasoning SNMP API提供支持。 MIB浏览器是工程师管理启用SNMP的网络设备和应用程序不可或缺的工具。 它允许用户加载标准的，专有的MIB，甚至一些错误的MIB。 它还允许它们发出SNMP请求以检索代理的数据，或对代理进行更改。 内置陷阱接收器可以根据其规则引擎接收和处理SNMP陷阱。
大家好，我是三十一[0]，最近北京也出现疫情了，昨晚公司大楼临时管控，测核酸折腾到小一点才到家。前两天的抢菜、囤菜，加上这次的管控经历，这次真有些慌了。。。
Load 1 minute Load: .1.3.6.1.4.1.2021.10.1.3.1 5 minute Load: .1.3.6.1.4.1.2021.10.1.3.2 15 minute Load: .1.3.6.1.4.1.2021.10.1.3.3
该包可以了解代码是如何转换为字节码的， dis 表示 disassemble 反汇编
SNMP标准引入一组ASN.1语言元素，称之为SMI（Structure of Management Information）。由SMI描述的相互关联的被管对象（Managed Objects）组成MIB（Management Information Base）模块。
本篇文章，我们聊聊如何使用 Docker 容器快速上手朋友团队出品的中文版 LLaMA2 开源大模型，国内第一个真正开源，可以运行、下载、私有部署，并且支持商业使用。
TensorRT 是 NVIDIA 自家的高性能推理库，其 Getting Started[1] 列出了各资料入口，如下：
6月初北京的疫情响应已经降到了三级，没想到中旬时疫情又卷土重来，每天都有10~30个确诊病例的新增，按专家的说法秋冬季还会更严重。公司之前一直使用基于指纹的上下班签到机制，疫情期间为了减少人员接触开始改用人脸打卡。当时以为只是应急用一下，疫情有一两个月就结束了，使用的第三方的人脸打卡程序。但目前已经过去5个月了，疫情还没有结束的迹象。继续使用第三方的打卡程序：一是数据不安全人脸&位置数据全被第三方收集走了，另一方面第三方没有提供接口无法和公司现有的考勤程序进行数据对接。公司希望实现自己的基于人脸打卡程序，这个重任当然就落到了我们开发部上，虽然没经验但咱们做为一个涉身职场多年的老将不能说不行啊。
在上一篇博客中，我们介绍了使用量子计算模拟器ProjectQ去生成一个随机数，也介绍了随机数的应用场景等。但是有些时候我们希望可以打开这里面实现的原理，去看看在产生随机数的过程中经历了哪些运算，调用了哪些模块。只有梳理清楚这些相关的内容，我们才能够更好的使用这个产生随机数的功能。这里我们就引入一个工具pycallgraph，可以根据执行的代码，给出这些代码背后所封装和调用的所有函数、类的关系图，让我们一起来了解下这个工具的安装和使用方法。
最近在运行一个python项目，不过并不熟悉python，因为一直在做java开发的工作。最近改了一个python项目里的SQL，查询的数据量更大了，运行后抛出异常，所以初步怀疑是内存不够
在之前的nvidia-smi 详解（一)写的过程中，查资料查到了有对应的python支持方法，就计划写这个了，随后写加查资料就写好代码了，但是就是犯懒一直没写文章，墨迹到了现在。
SNMP(Simple Network Management Protocol) trap是一种很有用，但是也容易让人难以理解的协议。
You-Get is a tiny command-line utility to download media contents (videos, audios, images) from the Web, in case there is no other handy way to do it.
GPU的加速技术在深度学习、量子计算领域都已经被广泛的应用。其适用的计算模型是小内存的密集型计算场景，如果计算的模型内存较大，则需要使用到共享内存，这会直接导致巨大的数据交互的运算量，通信开销较大。因为pycuda的出现，也使得我们可以直接在python内直接使用GPU函数，当然也可以直接在python代码中集成一些C++的代码，用于构建GPU计算的函数。有一个专门介绍pycuda使用案例的中文开源代码仓可以简单参考一些实现的示例，但是这里面的示例数量还是比较有限，更多的案例可以直接参考pycuda官方文档。
常规的本地化运行机器学习代码，安装Anaconda+cuda显卡驱动支持，许多文章都有介绍，不在此多做赘述了。本文主要是为了解决在工作环境中，本机电脑没有显卡，需要将程序运行在带显卡的远程服务器上。
在日常使用 Linux/Unix 系统时，我们会使用许多命令行工具来完成我们的工作，并理解和管理我们的系统，像 du 用于监视磁盘利用率，top 用于显示系统资源。其中一些工具已经存在很长时间了。例如，top 于 1984 年首次发布，而 du 的首次发布要追溯到 1971 年。
本篇文章聊聊如何使用 HuggingFace 的 Transformers 来量化 Meta AI 出品的 LLaMA2 大模型，让模型能够只使用 5GB 左右显存就能够运行。
这篇文章中，我们来聊聊如何快速上手一众模型里，具有 14B 参数，但是比较特别的 RNN 模型：ChatRWKV。
K8S的常见四种自动化部署方式：Kind，Minikube，KubeAdmin，KubeSpray
借着热点，简单聊聊大模型的部署方案，作为一个只搞过CV部署的算法工程师，在最近LLM逐渐改变生活的大背景下，猛然意识到LLM部署也是很重要的。大模型很火，而且确实有用（很多垂类场景可以针对去训练），并且和Vision结合的大模型也逐渐多了起来。所以怎么部署大模型是一个超级重要的工程问题，很多公司也在紧锣密鼓的搞着。 目前效果最好讨论最多的开源实现就是LLAMA，所以我这里讨论的也是基于LLAMA的魔改部署。 基于LLAMA的finetune模型有很多，比如效果开源最好的vicuna-13b和较早开始基于llama做实验的alpaca-13b，大家可以看：
在 Centos8 中，我们执行本文中的命令。下面命令按照 CPU 使用率对数据进行排序，并打印命令中指定的前 20 行。
点击关注公众号，Java干货及时送达 使用新的替代工具来改进旧的命令行工具。 在Linux/Unix系统的日常使用中，我们需要使用很多命令行工具来完成工作，以及理解和管理我们的系统，例如使用du来监视磁盘利用率、top来显示系统资源。有些工具已经有很长的历史了。例如，top于1984年首次发布，而du的首次问世可追溯至1971年。 多年来，这些工具已经过现代化的改造，并移植到了不同的系统中，但总的来说，它们仍然保留了最初的想法、外观和感觉。 这些工具都非常优秀，对于许多系统管理员的工作流程来说都是必不可少
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
