作者:星辰算力平台 1. 背景 随着大数据、人工智能技术的蓬勃发展,人类对于算力资源的需求也迎来大幅度的增长。在腾讯内部,星辰算力平台以降本增效为目标,整合了公司的GPU训练卡资源,为算法工程师们提供统一的底层GPU算力服务。借助于虚拟化、算力挖掘等技术,平台服务公司内各BG的AI训练场景,GPU利用率业界领先。同时,通过云原生任务化的方式,对接了内部各大业务,促进了AI技术研究效率的提升和创新研究。 当下,由于AI训练时的高性能计算设备(如NVIDIA GPU)成本高昂,如果任务在训练过程中不能保证
它来自Asahi Linux,就是那个专注于将Linux引入苹果芯片系统的开源项目。
XGBoost是“Extreme Gradient Boosting”的缩写,是一种高效的机器学习算法,用于分类、回归和排序问题。它由陈天奇(Tianqi Chen)在2014年首次提出,并迅速在数据科学竞赛和工业界获得广泛应用。XGBoost基于梯度提升框架,但通过引入一系列优化来提升性能和效率。
在[061]perfetto使用简介中,介绍了如何使用System Tracing的界面中来抓perfetto trace,这个方式的好处就是不需要连接电脑,可以离线抓取,但是perfetto有其他强大的功能,需要使用连接电脑才能发挥。
PhoenixGo是一个围棋AI程序,它执行AlphaGo Zero论文“掌握无人知识的Go游戏”。它也被称为FoxGo中的“BensonDarr”,CGOS中的“cronus”。在中国福州举办的“World AI Go Tournament 2018”中,来自微信团队的人工智能围棋程序PhoenixGo获得了冠军。
本文将介绍在 Windows 计算机上配置深度学习环境的全过程,其中涉及安装所需的工具和驱动软件。出人意料的是,即便只是配置深度学习环境,任务也不轻松。你很有可能在这个过程中犯错。我个人已经很多次从头开始配置深度学习环境了,但是通常是在对程序员更友好的操作系统 Linux 中。
虽然大多数深度学习模型都是在 Linux 系统上训练的,但 Windows 也是一个非常重要的系统,也可能是很多机器学习初学者更为熟悉的系统。要在 Windows 上开发模型,首先当然是配置开发环境。Kaggle Master 及机器学习实践者 Abhinand 立足于自己的实践,给出了一种简单易行的 Windows 深度学习环境配置流程。
本篇文章,聊聊如何在新版本 PyTorch 和 CUDA 容器环境中完成 xFormers 的编译构建。
这几天,我花了一些时间,装系统,装软件,进行系统设置,搭建了一套令我比较满意的深度学习环境。下面就介绍一下我的深度学习软件配置。
TensorFlow™是一个基于数据流编程(dataflow programming)的符号数学系统,被广泛应用于各类机器学习(machine learning)算法的编程实现,其前身是谷歌的神经网络算法库DistBelief。
机器之心编译 参与:李亚洲、路 本文介绍了腾讯微信翻译团队开源的人工智能围棋项目 PhoenixGo,该项目是对 DeepMind AlphaGo Zero 论文《Mastering the game of Go without human knowledge》的实现。 PhoenixGo 是腾讯微信翻译团队开发的人工智能围棋程序。据介绍,该项目由几名工程师在开发机器翻译引擎之余,基于 AlphaGo Zero 论文实现,做了若干提高训练效率的创新,并利用微信服务器的闲时计算资源进行自我对弈,缓解了 Ze
在3D创作领域,Blender是一款有名的开源开发软件。在里面,设计者可以创作包括静态图片与3D动画在内的多种3D视觉内容,甚至可以利用Cycles渲染器来运行光线追踪算法,以渲染出电影级逼真场景。因此它在影视、游戏设计等领域很受欢迎。
Marker 能够将 PDF、EPUB 和 MOBI 文件转换为 Markdown 格式。它比 nougat 快 10 倍,在大多数文档上更准确,并且具有较低的错误风险。
机器之心报道 编辑:陈萍、杜伟 电脑不错,可是有点小贵。 雷蛇(Razer Inc)是一家在新加坡创立的游戏周边设备公司,又被大家戏称为「绿光灯厂」,其两个总部分别设立在新加坡及美国圣地亚哥,产品命名以肉食动物居多。 雷蛇虽以游戏 PC 和外围设备而闻名,但众所周知,该公司还涉足其他领域。本周二雷蛇与专注于深度学习的公司 Lambda 合作推出了新的 Lambda TensorBook,号称「世界上为深度学习设计的最强大的笔记本电脑」。通过此电脑,用户可以使用 Linux 和 Lambda 的深度学习软件。
GTX 1080+Ubuntu16.04+CUDA8.0+cuDNN5.0+TensorFlow 安装指导
选自ZDNet 作者:Steven Vaughan-Nichols 机器之心编译 机器之心编辑部 Linux 6.2 是第一个支持苹果 M 系列芯片设备的主流 Linux 内核。 2 月 19 日,Linux 6.2 正式发布,Linux 内核发明人 Linus Torvalds 对这一版本的描述是:「也许它不像 6.1 那样是一个性感的 LTS( Long Term Support)版本,但这些普通的内核也希望分到测试人员的一点点爱。」 Linus Torvalds 在一篇新博客中发表了他对 Linux
在飞速发展的生成式人工智能(GenAI)领域,大型语言模型(LLM)调优因其高计算、高内存需求而带来了独特的挑战。LoRA 和 QLoRA 等技术为最先进 LLM 模型的调优工作提供了更强大的选项,它们的速度更快,成本更低。我们已经将 QLoRA 集成到了 BigDL LLM 库中。这个库是专门为英特尔的 GPU 而设计的。
从https://developer.nvidia.com/cuda-downloads,下载 cuda_9.1.85_387.26_linux.run文件
该文介绍了如何使用CMake和Python进行交叉编译,并使用gdb调试C++代码。主要包括了以下步骤:安装Python、安装CMake、编写CMakeLists.txt、编译C++代码、使用gdb调试C++代码、使用numpy数组作为参数调用Python函数。
而M1 Max更夸张,搭载570亿个晶体管,比Pro还要大70%,芯片面积达到432mm²。
清华大学的chatGLM2-6B可以说是目前亚洲唯一能打的对中文支持不错的LLM大模型,网上已经有很多介绍如何在本机搭建环境的文章,就不再重复了,这里记录下最近踩的一些坑:
前一阵子买了个新的笔记本电脑,幻13-3050TI-1T版本,全能本,CPU是8核心16线程的标压版AMD锐龙9-5900HS,显卡是NVIDIA-3050TI,重量和macbook差不多,都是1.4kg,便携、可以改变形态。
https://developer.nvidia.com/cuda-downloads
NVIDIA日前宣布推出新的Linux驱动程序430系列,支持GTX 1650。 以下是如何在Ubuntu 16.04,Ubuntu 18.04及更高版本中安装它。
最近百度飞桨在业内率先开源了口罩检测模型,并且在北京地铁实际上线。该模型能够准确地对未戴口罩以及错误佩戴口罩的情况进行识别和检测,辅助一线地铁工作人员进行防疫工作。口罩模型的上线应用,主要是借助了百度飞桨推理库Paddle Inference。之前我们已经对口罩检测模型做过报导(点击此处查看)。
chatgpt已经成为了当下热门,github首页的trending排行榜上天天都有它的相关项目,但背后隐藏的却是openai公司提供的api收费服务。作为一名开源爱好者,我非常不喜欢知识付费或者服务收费的理念,所以便有决心写下此系列,让一般大众们可以不付费的玩转当下比较新的开源大语言模型bloom及其问答系列模型bloomz。
MaskRCNN是何凯明基于以往的faster rcnn架构提出的新的卷积网络,一举完成了object instance segmentation. 该方法在有效地目标的同时完成了高质量的语义分割。 文章的主要思路就是把原有的Faster-RCNN进行扩展,添加一个分支使用现有的检测对目标进行并行预测。
最近在学习PaddlePaddle在各个显卡驱动版本的安装和使用,所以同时也学习如何在Ubuntu安装和卸载CUDA和CUDNN,在学习过程中,顺便记录学习过程。在供大家学习的同时,也在加强自己的记忆。本文章以卸载CUDA 8.0 和 CUDNN 7.05 为例,以安装CUDA 10.0 和 CUDNN 7.4.2 为例。
MaskRCNN 是何恺明基于以往的 faster rcnn 架构提出的新的卷积网络,一举完成了 object instance segmentation。该方法在有效地目标的同时完成了高质量的语义分割。文章的主要思路就是把原有的 Faster-RCNN 进行扩展,添加一个分支使用现有的检测对目标进行并行预测。
我们知道CUDA是由NVIDIA推出的通用并行计算架构,使用该架构能够在GPU上进行复杂的并行计算。在有些场景下既需要使用虚拟机进行资源的隔离,又需要使用物理GPU进行大规模的并行计算。本文就进行相关的实践:把NVIDIA显卡透传到虚拟机内部,然后使用CUDA平台进行GPU运算的实践。
安装教程:Installing the NVIDIA Container Toolkit
Pytorch实现了我们的高分辨率(例如2048x1024)逼真的视频到视频转换方法。
文章目录 环境请参考上一篇 cmakelists.txt TIPS 环境请参考上一篇 第一节:linux 开发AI算法以及libtorch部署算法详细教程-环境搭建 cmakelists.txt cmake_minimum_required (VERSION 3.8) project(SOLDIER) set(Torch_DIR "/libtorch/share/cmake/Torch") set(PYTHON_EXECUTABLE "/usr/bin/python3") find_package(T
修改配置文件/etc/docker/daemon.json,进入/etc/docker目录。查看是否有daemon.json文件,没有则执行如下命令创建。
由于实验需要,在实验室电脑上搭建深度学习Caffee框架。一共花了两天的时间,其中遇到了不少的问题,记录一下。 Caffee在配置上相对来说比较麻烦,需要前期安装的东西比较多,逐一介绍。
丰色 发自 凹非寺 量子位 | 公众号 QbitAI 终于,M1系列的Mac可以启动Linux-macOS双系统了! △ Asahi Linux官方供图 Asahi Linux在官方推特上宣布: 首个原生支持M1系列Mac的Linux测试版现在已发布,面向所有人开放。 大家只需在终端输入一行代码即可启动安装: curl https://alx.sh | sh 有迫不及待的网友已经上手,纷纷晒出自己的成功界面: 这其中还不乏“体验良好”的声音: 流畅度令人惊讶!YouTube完全可以正常播
# 允许更多的PIDs (减少滚动翻转问题); may break some programs 32768
LightGBM是基于XGBoost的一款可以快速并行的树模型框架,内部集成了多种集成学习思路,在代码实现上对XGBoost的节点划分进行了改进,内存占用更低训练速度更快。
【新智元导读】神经网络基于样本图像的训练为模糊图像补充细节,从而把模糊图像变高清。它不能把你的照片重建成一模一样的高清版。这只有好莱坞大片才有可能做到——但使用深度学习和神经增强(Neural Enhance)实现的“创造性 AI”作品同样很酷! 想得到如《犯罪现场调查》中CSI实验室那种提高照片清晰度的技术吗?感谢深度学习和神经增强(#NeuralEnhance)技术,现在已经能够训练一个神经网络把照片放大 2 倍,甚至 4 倍。通过增加神经元数目或使用与你的低分辨率图像相似的数据集进行训练,甚至能得到更
使用Namespaces实现了系统环境的隔离,Namespaces允许一个进程以及它的子进程从共享的宿主机内核资源(网络栈、进程列表、挂载点等)里获得一个仅自己可见的隔离区域,让同一个Namespace下的所有进程感知彼此变化,对外界进程一无所知,仿佛运行在一个独占的操作系统中;
(Caffe + Ubuntu 14.04 64bit + CUDA 6.5 配置说明,本文档使用同一块NVIDIA显卡进行显示与计算, 如分别使用不同的显卡进行显示和计算,则可能不适用。)
前言 从刚开始接触Mxnet这个框架到现在已经大概四个月了。Mxnet最吸引我的地方就是它提供了 很多语言的接口,其中有Scala(my favorite),这是我从Caffe转过来的原因之一。 Mxnet是我第一个参与的开源项目,可以说这四个月来我学到了很多东西。 本文的其中目的在于介绍一下如何用 Mxnet Scala 包来开发自己的 deep learning 的应用,有 哪些坑需要注意的,最后就是安利一下Mxnet 这个框架了。 然后,还有就是Mxnet Scala Pack
英特尔开放式图像降噪是一个开源库,其中包含高性能、高质量的去噪滤波器,适用于使用光线追踪渲染的图像。
本文将介绍如何使用 GAN 模型来生成属于你自己的动漫风格的视频,为自己、喜欢的菇凉或者调皮可爱孩子生成一个别具一格的动漫风格的视频。
其中,Turicreate的后台是mxnet框架,turicreate不太适合使用GPU图像训练,因为现在的mxnet已经cuda10 - 1.4.0+ 而turicreate还支持很老版本的 mxnet - 1.1.0,因为版本问题会出现很多问题,一种比较合适的方式是使用他们官方内部的docker启动。 如果要启用GPU之前,需要了解:(linuxGPU.md)
领取专属 10元无门槛券
手把手带您无忧上云