展开

关键词

首页关键词服务器端

服务器端

相关内容

黑石物理服务器2.0

黑石物理服务器2.0

腾讯黑石物理服务器2.0(CPM)是一种包年包月的裸金属云服务,为您提供云端独享的高性能、无虚拟化的、安全隔离的物理服务器集群。使用该服务,您只需根据业务特性弹性伸缩物理服务器数量,获取物理服务器的时间将被缩短至分钟级。
  • FPGA 云服务器

    腾讯FPGA云服务器是基于FPGA硬件可编程加速的弹性计算服务,您只需几分钟就可以获取并部署您的FPGA实例。结合IP市场提供的图片,视频,基因等相关领域的计算解决方案,提供无与伦比的计算加速能力……
    来自:
  • FPGA 云服务器

    常见问题,产品概述,计费概述,购买方式,加速型 FX4 实例,联系我们,产品简介,常见问题,产品概述,词汇表,购买指南,计费概述,购买方式,加速型 FX4 实例,联系我们
    来自:
  • 广告
    关闭

    腾讯「技术创作101训练营」第三季上线!

    快来报名!

  • 您找到你想要的搜索结果了吗?
    是的
    没有找到
  • GPU 云服务器

    腾讯GPU 云服务器是提供 GPU 算力的弹性计算服务,具有超强的并行计算能力,作为 IaaS 层的尖兵利器,服务于深度学习训练、科学计算、图形图像处理、视频编解码等场景……
    来自:
  • 专用宿主机

    专用宿主机(CDH)提供用户独享的物理服务器资源,满足您资源独享、资源物理隔离、安全、合规需求。专用宿主机搭载了腾讯云虚拟化系统,购买之后,您可在其上灵活创建、管理多个自定义规格的云服务器实例,自主规划物理资源的使用。
    来自:
  • 专用宿主机

    专用宿主机概述,产品优势,产品到期策略,应用场景,机型总览,购买方式,地域与可用区,CDH 的使用前提,在 CDH 上分配专用实例,计费模式,生命周期,修改 CDH 实例名称,分配实例,导出 CDH 实例列表,导出实例列表,搜索 CDH 实例,查看 CDH 实例信息,登录实例,续费包年包月 CDH 实例,调整实例配置,销毁实例,实例相关,宿主机相关,计费相关,在 CDH 间迁移实例,CDH 实例转换为 CVM 实例,CVM 实例迁移至 CDH,联系我们,产品简介,专用宿主机概述,产品优势,购买指南,产品到期策略,应用场景,机型总览,购买方式,地域与可用区,常见问题,快速入门,CDH 的使用前提,在 CDH 上分配专用实例,计费模式,生命周期,操作指南,修改 CDH 实例名称,分配实例,导出 CDH 实例列表,导出实例列表,搜索 CDH 实例,查看 CDH 实例信息,登录实例,续费包年包月 CDH 实例,调整实例配置,销毁实例,实例相关,宿主机相关,计费相关,词汇表,在 CDH 间迁移实例,CDH 实例转换为 CVM 实例,迁移实例,CVM 实例迁移至 CDH,联系我们
    来自:
  • GPU 云服务器

    产品概述,产品优势,价格总览,登录实例,安装 NVIDIA Tesla 驱动,常见问题,如何续费,重启实例,安装 CUDA 驱动,快速入门,使用须知,GPU 渲染型应用场景,GPU 计算型应用场景,安装 AMD 驱动,GPU 使用率显示 100%,NVIDIA 系列实例,AMD 系列实例,安装 NVIDIA GRID 驱动,使用预装 GPU 驱动的镜像,购买 NVIDIA GPU 实例,购买 AMD GPU 实例,使用 GPU 监控,控制台的 VNC 不可用,概述,部署及实践,联系我们,概述,部署及实践,产品简介,产品概述,产品优势,应用场景,购买指南,价格总览,操作指南,登录实例,安装 NVIDIA Tesla 驱动,常见问题,如何续费,重启实例,安装 CUDA 驱动,快速入门,使用须知,GPU 渲染型应用场景,GPU 计算型应用场景,实例类型,安装 AMD 驱动,GPU 使用率显示 100%,NVIDIA 系列实例,AMD 系列实例,安装 NVIDIA GRID 驱动,使用预装 GPU 驱动的镜像,购买 NVIDIA GPU 实例,购买 AMD GPU 实例,使用 GPU 监控,控制台的 VNC 不可用,故障处理,词汇表,最佳实践,TI-Deepspeed NLP 大模型训练最佳实践,概述,部署及实践,联系我们,AI 训练加速引擎 TACO-Training 最佳实践,概述,部署及实践
    来自:
  • 计费概述

    计费模式腾讯云提供三种类型的云服务器购买方式:包年包月、按量计费和竞价实例,分别适用于不同场景下的用户需求,详情可参考 计费模式。计费说明FPGA 云服务器实例包含实例、存储、网络带宽三部分,您可直接使用 CVM 价格计算器 查看您所需的各个产品的组合价格,估算资源成本。将所需产品添加至购买预算清单,更可实现一键购买。 注意: 为保证获取到的价格的准确性,请您登录后查看。 欠费说明FPGA 云服务器实例欠费与云服务器 CVM 欠费时处理方式一致,详情请参见云服务器 CVM 欠费说明。退费说明具体退还规则及说明,请参见 退还包年包月实例退费说明。
    来自:
  • 购买方式

    腾讯云提供了两种购买云服务器的方式:官网购买和 API 购买。本文详细介绍了两种购买方式。官网购买所有用户均可通过 腾讯云官方网站 进行云服务的购买。根据计费模式的不同,用户可以购买包年包月(按月年购买)、按量计费(按秒计费,小时结算)和竞价实例(按秒计费,小时结算)三种不同类型的云服务器,详见云服务器 计费模式说明。下面介绍在官网购买这三种服务器的具体操作。 包年包月 按量计费 竞价实例 登录 腾讯云购买页。在自定义配置下选择机型时,计费模式选择【包年包月】。根据实际需求和页面提示,设置地域、可用区、网络、实例等配置信息。确认订单之后,您可通过余额支付、网银支付、微信支付、QQ 钱包支付等方式进行支付。订单支付后立即开通服务器,等待1-5分钟左右即可看到 IP 地址,您可进行登录管理。 注意: 关于各项配置,您可参阅 计费概述、云硬盘价格总览、公网计费模式 等帮助文档后结合实际需求进行选购。更多购买说明与注意事项可参考 官网购买说明。 登录 腾讯云购买页。在自定义配置下选择机型时,计费模式选择【按量计费】。根据实际需求和页面提示,设置地域、可用区、网络、实例等配置信息。确认订单之后,您可通过余额支付、网银支付、微信支付、QQ 钱包支付等方式进行支付。订单支付后立即开通服务器,等待1-5分钟左右即可看到 IP 地址,您可进行登录管理。 注意: 开通按量计费云服务器后,请确保您的账户余额充足。账户余额不足可能导致欠费甚至主机被回收。详情可参阅 欠费说明。关于各项配置,您可参阅 计费概述、云硬盘价格总览、公网计费模式 等帮助文档后结合实际需求进行选购。更多购买说明与注意事项可参考 官网购买说明。 登录 腾讯云购买页。在自定义配置下选择机型时,计费模式选择【竞价实例】。根据实际需求和页面提示,设置地域、可用区、网络、实例等配置信息。确认订单之后,您可通过余额支付、网银支付、微信支付、QQ 钱包支付等方式进行支付。订单支付后立即开通服务器,等待1-5分钟左右即可看到 IP 地址,您可进行登录管理。 注意: 开通竞价实例云服务器后,请确保您的账户余额充足。账户余额不足可能导致欠费甚至主机被回收。关于各项配置,您可参阅 计费概述、云硬盘价格总览、公网计费模式 等帮助文档后结合实际需求进行选购。更多购买说明与注意事项可参考 官网购买说明。 API 购买欲通过 API 购买云服务器的用户,可参阅 API 文档 创建实例。
    来自:
  • 加速型 FX4 实例

    适用场景加速型 FX4 实例适用于以下场景: 深度学习推理数据库加速图片转码实时音视频处理地震分析AI 制药基因组学及其他 硬件规格CPU:Intel® Xeon® Platinum 8255C CPU,主频 2.5 GHz。FPGA:Xilinx Alveo U200内存:DDR4,内存计算性能稳定。存储:可选择 云硬盘类型,如需 扩容 可新建弹性云盘进行挂载。网络:实例网络性能与规格对应,公网网络 可按需配置。 FX4 实例提供以下配置: 型号FPGA(Xilinx Alveo U200)vCPU内存 (DDR4)内网带宽网络收发包可用区 FX4.2XLARGE881颗10核88GB4Gbps70万PPS广州三区,上海二区,北京四区,北京五区 FX4.5XLARGE1762颗22核176GB7Gbps150万PPS FX4.11XLARGE3524颗44核352GB13Gbps300万PPS
    来自:
  • 联系我们

    售前咨询当您需要购买咨询时,您可以直接通过 售前在线咨询 进行提问,会有专属客户经理在线为您解答,为您提供专业的上云方案。同时,您也可以直接致电销售人员,咨询热线:4009100100转1(工作日9:00 - 18:00)。售后支持当您遇到问题需要处理时,您可以直接通过 售后在线支持 进行提问,腾讯云工程师7 × 24小时在线为您提供服务。同时,您也可以直接致电客服人员,寻求相应的帮助。 客服咨询:4009100100(7 × 24小时)备案帮助:4009100100转3(7 × 24小时) 腾讯云助手腾讯云助手是腾讯云为开发者提供的移动管理工具,可以帮助开发者在手机上快捷管理云资源和云账户,进行充值续费、管理工单备案等,同时联系客服快速获取帮助。通过腾讯云助手,开发者不论在何时何地,都可快速进行管理操作,提高管理效率。微信扫一扫下方二维码,立即体验腾讯云助手。 问答社区问答社区是腾讯云为开发者提供的交流平台。该平台汇聚了云计算、人工智能、小程序、产品文档等热门标签版块。您可以登录问答社区进行提问,会有产品专家或热心用户对您提出的问题,进行相应解答、探讨和指导。平台入口:问答
    来自:
  • 常见问题

    FPGA 是什么,我为什么需要它?FPGA 是一种常用的定制硬件的方式。与专用硬件(如 ASIC)相比,FPGA 非常灵活,可以在插入 PC 主板后现场编程。FPGA 是可以使用软件配置的可编程集成电路。与只使用 CPU 的服务器相比,通过使用 FPGA,用户可以将应用程序处理延时降低,处理能力提高。此外,FPGA 可重编程,因此可以灵活地更新和优化硬件加速,而无需重新设计硬件。FPGA 本身是带有有限数量的简单逻辑门和存储单元的可编程芯片。FPGA 编程是用 HDL(硬件描述语言)将这些逻辑门和存储单元连接起来,组成可完全并行执行的多种操作。因此,非常适合用作定制硬件。在某些特殊应用中,例如大数据挖掘、金融风险分析等,能提供高达30倍的加速。 腾讯云 FPGA 云服务器是什么?FPGA 云服务器 是一种新的计算服务,能够通过可编程的硬件实现应用程序加速。用户可以在几分钟内轻松获取并配置您的 FPGA 计算实例,只需单击几下即可完成部署并方便的访问 FPGA。我们为用户提供可重编程的环境,用户可以进行 FPGA 编程,无需重新设计硬件,为应用程序创建自定义硬件加速,更加专注于业务发展。 腾讯云 FPGA IP 是什么?FPGA IP,FPGA Intellectual Property,即 FPGA 知识产权,腾讯及其合作伙伴拥有大量 FPGA 的知识产权(IP),可帮助您加速产品上市进程,同时您也可以通过腾讯云市场,为其他客户提供您设计的 FPGA IP。 腾讯云 FPGA 云服务器 与传统 FPGA 解决方案相比如何?FPGA 实例能够通过可编程的硬件实现应用程序加速。通过 FPGA 实例,用户只需单击几下即可访问 FPGA 硬件,从而节约 FPGA 开发周期的时间和成本,并将部署时间从数年或数月缩减到数天。尽管 FPGA 技术已出现数十年,但是由于开发基础设施、硬件设计和大规模部署所需的时间和成本等因素,在加速器的开发和向传统企业销售自定义硬件的业务模式方面,导致应用程序加速的采用很难取得成功。通过此服务,客户可避免在本地数据中心开发 FPGA 的无差别的繁重工作。腾讯及其合作伙伴拥有大量 FPGA 的知识产权(IP),可帮助您加速产品上市进程,同时您也可以通过腾讯云市场,为其他客户提供您设计的 IP。 我是否可以向任何云服务器 CVM 实例类型中添加 FPGA?不可以。FPGA 为腾讯云专门定制的实例硬件,目前 FPGA 实例具有1个实例规格,目前不支持 FPGA 弹性挂载到云服务器 CVM 上。
    来自:
  • 产品概述

    简介FPGA 云服务器(FPGA Cloud Computing)是基于 FPGA(Field Programmable Gate Array)现场可编程阵列的计算服务。FPGA 云服务器具有高吞吐量、低延时、低功耗的特点。从硬件层面加速云计算在各个场景中的应用,降低大中小型企业以及用户的使用门槛和成本。特性硬件可编程用户可以使用软件配置 FPGA 型 FX4 实例,灵活地更新和优化硬件加速,且无需重新设计任何硬件。专用 FPGA每个 FX4 实例最多具有多达四个 FPGA,且这些 FPGA 均专用于该实例,不会在实例、用户或账户之间共享。这可确保 FPGA 的全部性能将仅用于该实例,还能通过用户和账户隔离提高安全性。应用场景适用于有非常大量的重复性、需要并行计算的工作。可应用于基因组学研究、金融分析、图像压缩和实时视频处理等需要进行高性能计算的场景。
    来自:
  • 云服务器

    腾讯云服务器(CVM)为您提供安全可靠的弹性云计算服务。只需几分钟,您就可以在云端获取和启用云服务器,并实时扩展或缩减云计算资源。云服务器 支持按实际使用的资源计费,可以为您节约计算成本。
    来自:
  • 云服务器

    云服务器概述,购买方式,查看实例列表,查询安全组列表,创建安全组,修改实例属性,重置密码,重装系统,重启实例,创建实例(包年包月),启动实例,关闭实例,调整包年包月实例带宽,查询可用的镜像列表,创建自定义镜像,删除镜像,修改镜像属性,查询可用区列表,查询可用区能力,调整实例配置(包年包月),修改实例所属项目,复制镜像,调整实例配置(按量计费),调整按量计费实例带宽,查询实例价格(按量计费),退还实例(按量计费),续费实例(包年包月),查询实例价格(包年包月),创建实例(按量计费),删除安全组,修改安全组名称,查询安全组规则,修改安全组规则,查询安全组关联的云主机列表,修改云主机关联的安全组,普通公网IP转弹性公网IP,修改弹性公网IP名称,解绑弹性公网IP,绑定弹性公网IP,查询弹性公网IP配额,查询弹性公网IP列表,释放弹性公网IP,创建弹性公网IP,查询与安全组关联的安全组列表,创建密钥,修改密钥名称,删除密钥,导入密钥,查询密钥,绑定密钥,解绑密钥,CentOS 环境下通过 YUM 安装软件,openSUSE 环境下通过 zypper 安装软件,Ubuntu 环境下通过 Apt-get 安装软件,手动搭建 LNMP 环境(openSUSE),安装 ACPI 电源管理,Windows 系统通过 WinSCP 上传文件到 Linux 云服务器,Windows 系统通过 FTP 上传文件到云服务器,Linux 或 MacOS 系统通过 SCP 上传文件到 Linux 云服务器,Linux 常用操作及命令,无公网 CVM 通过带公网 CVM 出访公网,初始化数据盘(Windows 云服务器),价格总览,调整实例配置,计费概述,计费模式,欠费说明,云硬盘价格总览,共享镜像,取消共享镜像,查询镜像共享的账号信息,端口问题,国际链路时延,购买约束,步骤1:安装 IIS 服务,配置高性能电源管理,系统激活,系统更新,更新 Virtio 网卡驱动,Windows 系统通过 MSTSC 上传文件到 Windows 云服务器,按量计费实例转包年包月,快速配置 Windows 云服务器,获取产品可用的地域列表,关机相关,Windows 恢复模式,关于不再支持 Windows Server 2003 系统镜像的公告,快速配置 Linux 云服务器,功能与优势,Linux 重装为 Windows 后读取原 EXT 类型数据盘,Windows 重装为 Linux 后读写原 NTFS 类型数据盘,弹性公网IP模式切换,修改 SID 操作说明,通过购买页创建实例,生命周期,重启实例,关机实例,销毁/退还实例概述,回收实例,重装系统,查看实例元数据,实例概述,镜像概述,镜像类型,创建自定义镜像,复制镜像,共享自定义镜像,导入镜像概述,存储概述,云硬盘,对象存储,监控与告警,获取实例监控数据,创建告警,网络与安全概述,公网服务,内网服务,网络环境,针对 CVM 的最佳实践,使用 RDP 文件登录 Windows 实例,使用标准登录方式登录 Linux 实例(推荐),查询安全组关联的网卡列表,修改弹性网卡关联的安全组,弹性公网 IP,删除自定义镜像,地域和可用区,SSH 密钥,登录密码,续费实例,关于 Windows 云服务器升级 Virtio 网卡驱动的通知,弹性网卡,关于 Ubuntu14.04 无法启动 Tomcat 的解决方案,关于 Ubuntu 10.04 镜像下线及存量软件源配置的公告,请求结构简介,公共请求参数,接口请求参数,最终请求形式,正确返回结果,错误返回结果,异步任务接口返回格式,购买说明,取消共享自定义镜像,腾讯云 Linux 镜像长期漏洞修复策略公告,手动搭建 Discuz! 论坛,手动搭建 WordPress 个人站点(Linux),腾讯云软件源加速软件包下载和更新,跨地域搜索,绑定子机与弹性网卡,修改实例vpc属性,修改实例所属项目,修改实例的属性,修改实例续费标识,关闭实例,创建实例,创建实例询价,启动实例,扩容实例磁盘,查看实例列表,查看实例状态列表,查询实例带宽配置,查询实例机型列表,续费实例,调整实例带宽上限,调整实例配置,退还实例,重启实例,重置实例密码,重装实例,修改密钥对属性,创建密钥对,删除密钥对,导入密钥对,查询密钥对列表,绑定密钥对,解绑密钥对,修改镜像分享信息,修改镜像属性,创建自定义镜像,删除镜像,同步镜像,查看镜像列表,查询镜像分享信息,查询可用区列表,查询地域列表,扩容实例磁盘询价,调整实例带宽上限询价,调整实例配置询价,重装实例询价,续费实例询价,退还包年包月实例退费说明,镜像部署 WordPress 个人站点,镜像部署 Discuz! 论坛,Linux 系统检查 Virtio 驱动,添加安全组规则,编辑单条安全组规则,错误码,步骤2:部署 PHP 环境,步骤3:安装 MySQL 数据库,删除安全组规则,端口问题导致无法远程登录,Windows 实例:CPU 或内存占用率高导致无法登录,Linux 实例:CPU 或内存占用率高导致无法登录,访问管理示例,授权策略语法,可授权的资源类型,访问管理概述,服务器被隔离导致无法登录,带宽占用高导致无法登录,安全组设置导致无法远程连接,无法登录 Windows 实例,Windows 云服务器搭建 FTP 服务,自定义配置 Windows 云服务器,自定义配置 Linux 云服务器,公网计费模式,调整公网计费,Linux 云服务器搭建 FTP 服务,Windows 实例:需要网络级别身份验证,网络性能测试,实例规格,公共参数,接口鉴权,示例代码,请求结构,正确返回结果,错误码,错误返回结果,修改弹性公网IP属性,创建弹性公网IP,普通IP转弹性IP,查询弹性公网IP列表,查询弹性公网IP配额,绑定弹性公网IP,解绑定弹性公网IP,释放弹性公网IP,安全组 API 概览,服务器常用端口,安全组概述,公网带宽上限,无法创建 Network Namespace,Linux 系统安装 cloud-init,关机和重启云服务器失败,强制导入镜像,大数据型实例问题,域名无法解析(CentOS 6.x 系统),网站访问卡慢,网站无法访问,使用 MTR 分析网络延迟及丢包,实例 IP 地址 ping 不通,关于云服务器部分告警指标变更的公告,选择计费模式,选择实例类型,选择存储介质,规划网络,配置安全组,估算成本,使用限制总览,快照,置放群组,调整网络配置,搜索实例,实例调整配置费用说明,简介,API 概览,请求结构,公共参数,签名方法,返回结果,更新历史,解绑密钥对,绑定密钥对,查询密钥对列表,删除密钥对,修改密钥对属性,创建密钥对,导入密钥对,查询可用区列表,查询地域列表,修改镜像分享信息,同步镜像,查看镜像分享信息,修改镜像属性,查看镜像列表,删除镜像,外部镜像导入,查询外部导入镜像支持的OS列表,查询镜像配额上限,调整实例带宽上限,退还实例,重装实例,续费实例询价,创建实例询价,查看实例列表,查询网络计费类型,创建实例,扩容实例磁盘,调整实例带宽上限询价,调整实例配置询价,查询实例带宽配置,启动实例,重置实例密码,查看实例状态列表,修改实例的属性,续费实例,重启实例,关闭实例,调整实例配置,修改实例所属项目,重装实例询价,查询所支持的实例机型族信息,查询实例机型列表,修改实例vpc属性,扩容实例磁盘询价,修改实例续费标识,数据结构,创建CDH实例,查看CDH实例列表,修改CDH实例的属性,续费CDH实例,调整项目配置,查看实例信息,查看实例监控信息,修改内网 IP 地址,修改实例名称,导出实例,更换安全组,更换实例子网,重置实例密码,弹性公网 IP,更换公网 IP 地址,管理 SSH 密钥,创建镜像,操作指南总览,管理登录密码,分散置放群组,敏感操作保护,编辑标签,弹性公网 IP 问题,弹性公网 IP 计费说明,地域和可用区相关,其他实例问题,登录和连接实例问题,实例使用限制问题,快照计费问题,云硬盘计费问题,网络计费问题,实例计费问题,备份和恢复数据问题,IP 地址问题,其他网络问题,共享自定义镜像问题,调整实例配置问题,系统盘使用问题,获取可用区机型配置信息,弹性网卡,访问管理相关,弹性网卡问题,防火墙问题,初始化数据盘(Linux 云服务器),设置自定义数据(Linux 云服务器),设置自定义数据(Windows 云服务器),修改分散置放群组属性,查询分散置放群组信息,查询置放群组配额,删除分散置放群组,创建分散置放群组,制作 Linux 镜像,制作 Windows 镜像,竞价实例,竞价实例问题,管理竞价实例,获取公网 IP 地址,获取内网 IP 地址和设置 DNS,修改实例计费模式,修改实例计费模式询价,密钥问题,查询实例管理终端地址,词汇表,应用实操,基础知识,离线迁移,使用标签管理实例,Cloud-Init 和 Cloudbase-Init 问题,按量计费实例关机不收费说明,按量计费实例关机不收费,切换私有网络服务,Windows 操作系统安装 Cloudbase-Init,NTP 服务概述,Linux 实例:配置 NTP 服务,Windows 实例:配置 NTP 服务,错误码,签名方法 v3,Windows 实例:发生身份验证错误,解绑安全组,绑定安全组,Windows 实例:Mac 远程登录异常,Windows 实例:远程桌面无法连接到远程计算机,Windows 实例:没有远程桌面服务登录的权限,硬盘介质调整费用说明,调整硬盘介质,云硬盘类型说明,在线迁移概述,服务迁移相关,设置 Linux 云服务器进入单用户模式,扩容云硬盘,账号问题,查询实例操作限制,批量连续命名或指定模式串命名,无法登录云服务器问题处理思路,安全组应用案例,如何有效的修改 Linux 云服务器的 etc/hosts 配置,关于安全组53端口配置的公告,无法登录 Linux 实例,使用远程登录软件登录 Linux 实例,使用 SSH 登录 Linux 实例,使用 VNC 登录 Linux 实例,使用远程桌面连接登录 Windows 实例,使用 VNC 登录 Windows 实例,设置允许多用户远程登录 Windows 云服务器,腾讯 tlinux 用户服务协议,无法通过 SSH 方式登录 Linux 实例,查询竞价实例回收状态,关于标准型 S5 价格调整的公告,TencentOS Server 简介,镜像部署 LNMP 环境,手动搭建 LNMP 环境(CentOS 7),镜像部署 Java Web 环境,手动搭建 Java Web 环境,镜像部署 Node.js 环境,手动搭建 Node.js 环境,镜像部署 Magento 电子商务网站,镜像部署 AMH 和建站,手动搭建 AMH 和建站,镜像部署 LAMP 环境,手动搭建 LAMP 环境,手动搭建 Drupal 个人站点,手动搭建 Ghost 博客,镜像部署 Moodle 在线学习系统,腾讯云 CVM 跨区域迁移数据,腾讯云 CVM 跨账号迁移数据,AWS EC2 迁移数据至腾讯云,阿里云 ECS 迁移数据至腾讯云,华为云 ECS 迁移数据至腾讯云,UCloud 云主机迁移数据至腾讯云,百度云 BCC 迁移数据至腾讯云,VMWare 虚拟机迁移数据至腾讯云,天翼云云主机迁移数据至腾讯云,在线迁移工具使用指引,手动搭建 LNMP 环境(CentOS 6),配置公网网关,镜像部署 Joomla 基础管理平台,MacOS 系统通过 MRD 上传文件到 Windows 云服务器,联系我们,Linux 系统通过 RDP 上传文件到 Windows 云服务器,如何搭建网站,如何将本地文件拷贝到云服务器,Windows 实例:你的凭据不工作,手动搭建 WordPress 个人站点(Windows),创建安全组,添加安全组规则,关联实例至安全组,查看安全组规则,修改安全组规则,导入安全组规则,删除安全组规则,导出安全组规则,查看安全组,删除安全组,移出安全组,克隆安全组,配置 IPv6 地址,解封25端口,新功能发布记录,管理实例的置放群组,Windows 实例:没有远程桌面授权服务器可以提供许可证,Linux 系统通过 FTP 上传文件到云服务器,修改云服务器远程默认端口,调整安全组优先级,Linux 系统使用 USB/IP 远程共享 USB 设备,Windows 系统使用 RemoteFx 重定向 USB 设备,购买实例问题,自定义镜像问题,复制镜像问题,其他镜像问题,更换镜像(重装系统)问题,Windows 实例:重置密码失败或无效,通过 Sysprep 实现云服务器入域后 SID 唯一,实例使用问题,安全组问题,安全组规则问题,密码问题,公网带宽问题,云硬盘使用问题,挂载和卸载云硬盘问题,扩容和缩容云硬盘问题,快照使用问题,上传文件问题,运维问题,实例创建指引,通过镜像创建实例,购买相同配置实例,搭建 Microsoft SharePoint 2016,修改 VNC 分辨率,新手指引,基本概念,Linux 实例:将 ntpdate 转换为 ntpd,搭建 PostgreSQL 主从架构,安装宝塔面板,搭建 Docker,搭建 Ubuntu 可视化界面,公共镜像更新记录,Linux 实例手动更换内核,Linux 实例常用内核参数介绍,关于硅谷地域标准型 S3 价格调整的公告,搭建 GitLab,搭建 RabbitMQ,管理实例角色,Linux 实例数据恢复,Windows 实例磁盘空间管理,开机实例,创建预留实例询价,查询预留实例机型配置,服务等级协议,NTP 服务相关,手动搭建 LNMP 环境(CentOS 8),生成创建实例 API Explorer 最佳实践脚本,端口问题导致无法登录,关于不再支持 Windows Server 2008 R2 企业版 SP1 64位系统镜像的公告,公网网络费用,调整云硬盘性能,使用 API 销毁/退还包年包月实例及挂载的云硬盘,使用控制台销毁/退还实例,CentOS 6 切换 YUM 源,关于 WebShell 代理 IP 地址更替的公告,设置操作系统语言环境,关于多个可用区云服务器价格下调公告,TencentOS Server 常见问题,CentOS 8 安装 chronyd 服务,VNC 登录报错 Module is unknown,VNC 登录报错 Account locked due to XXX failed logins,VNC 登录输入正确密码后无响应,VNC 或 SSH 登录报错 Permission denied,TencentOS Server 特性,实例内存使用率过高,日志报错 fork:Cannot allocate memory,VNC 登录报错 Cannot allocate memory,实例内存未耗尽时触发 Out Of Memory,搭建网站总览,应用场景相关,搭建环境总览,数据备份,其他场景相关操作,调整实例配置建议,提升实例购买数量配额,公网 IP 服务等级协议,查询用户配额详情,在 CVM 上通过 AVX512 加速人工智能应用,主机安全,DDoS 基础防护,概述,使用 netperf 测试,使用 DPDK 测试,实例自助检测,使用实例自助检测,使用移动设备登录 Linux 实例,使用移动设备登录 Windows 实例,云服务器迁移,云服务器网络访问丢包,内核及 IO 相关问题,云服务器通过内网访问对象存储,使用标准方式登录 Windows 实例(推荐),云服务器选型最佳实践,退还实例询价,联系我们,搭建 CentOS 可视化界面,查询实例可调整配置,Linux 实例使用 atop 监控工具,产品简介,购买指南,云服务器概述,购买方式,简介,API概览,更新历史,弹性公网IP相关接口,实例相关接口,镜像相关接口,安全组相关接口,地域相关接口,网络相关接口,查看实例列表,密钥相关接口,调用方式,查询安全组列表,创建安全组,修改实例属性,重置密码,重装系统,重启实例,创建实例(包年包月),启动实例,关闭实例,调整包年包月实例带宽,查询可用的镜像列表,创建自定义镜像,删除镜像,修改镜像属性,查询可用区列表,查询可用区能力,调整实例配置(包年包月),修改实例所属项目,复制镜像,调整实例配置(按量计费),调整按量计费实例带宽,查询实例价格(按量计费),退还实例(按量计费),续费实例(包年包月),查询实例价格(包年包月),创建实例(按量计费),删除安全组,修改安全组名称,查询安全组规则,修改安全组规则,查询安全组关联的云主机列表,修改云主机关联的安全组,普通公网IP转弹性公网IP,修改弹性公网IP名称,解绑弹性公网IP,绑定弹性公网IP,查询弹性公网IP配额,查询弹性公网IP列表,释放弹性公网IP,创建弹性公网IP,查询与安全组关联的安全组列表,创建密钥,修改密钥名称,删除密钥,导入密钥,查询密钥,绑定密钥,解绑密钥,自定义数据,其他,常见问题,挂载数据盘,软件安装,CentOS 环境下通过 YUM 安装软件,openSUSE 环境下通过 zypper 安装软件,Ubuntu 环境下通过 Apt-get 安装软件,环境配置,手动搭建 LNMP 环境(openSUSE),安装 ACPI 电源管理,本地文件上传到云服务器,Windows 系统通过 WinSCP 上传文件到 Linux 云服务器,Windows 系统通过 FTP 上传文件到云服务器,Linux 或 MacOS 系统通过 SCP 上传文件到 Linux 云服务器,Linux 常用操作及命令,无公网 CVM 通过带公网 CVM 出访公网,初始化数据盘(Windows 云服务器),购买实例,价格总览,调整实例配置,计费概述,计费模式,欠费说明,视频专区,云硬盘价格总览,实例,共享镜像,取消共享镜像,查询镜像共享的账号信息,网络相关故障,运维指南,端口问题,国际链路时延,购买约束,快速入门,步骤1:安装 IIS 服务,配置高性能电源管理,系统激活,系统更新,更新 Virtio 网卡驱动,Windows 系统通过 MSTSC 上传文件到 Windows 云服务器,按量计费实例转包年包月,快速配置 Windows 云服务器,获取产品可用的地域列表,关机相关,Windows 恢复模式,关于不再支持 Windows Server 2003 系统镜像的公告,快速配置 Linux 云服务器,功能与优势,Linux 重装为 Windows 后读取原 EXT 类型数据盘,Windows 重装为 Linux 后读写原 NTFS 类型数据盘,弹性公网IP模式切换,使用示例,修改 SID 操作说明,实例,通过购买页创建实例,生命周期,重启实例,关机实例,销毁/退还实例概述,回收实例,重装系统,查看实例元数据,镜像,实例概述,镜像概述,镜像类型,创建自定义镜像,复制镜像,共享自定义镜像,导入镜像概述,存储,网络与安全,存储概述,云硬盘,对象存储,监控与告警,监控与告警,获取实例监控数据,创建告警,网络与安全概述,公网服务,内网服务,网络环境,针对 CVM 的最佳实践,使用 RDP 文件登录 Windows 实例,使用标准登录方式登录 Linux 实例(推荐),查询安全组关联的网卡列表,修改弹性网卡关联的安全组,弹性公网 IP,删除自定义镜像,地域和可用区,SSH 密钥,登录密码,续费实例,公告,关于 Windows 云服务器升级 Virtio 网卡驱动的通知,弹性网卡,关于 Ubuntu14.04 无法启动 Tomcat 的解决方案,关于 Ubuntu 10.04 镜像下线及存量软件源配置的公告,请求结构,请求结构简介,公共请求参数,接口请求参数,最终请求形式,返回结果,正确返回结果,错误返回结果,异步任务接口返回格式,购买说明,取消共享自定义镜像,腾讯云 Linux 镜像长期漏洞修复策略公告,API 文档,自定义配置,手动搭建 Discuz! 论坛,手动搭建 WordPress 个人站点(Linux),腾讯云软件源加速软件包下载和更新,跨地域搜索,更新开发商各地域cvm的概览信息列表,绑定子机与弹性网卡,实例相关接口,密钥相关接口,镜像相关接口,修改实例vpc属性,修改实例所属项目,修改实例的属性,修改实例续费标识,关闭实例,创建实例,创建实例询价,启动实例,扩容实例磁盘,查看实例列表,查看实例状态列表,查询实例带宽配置,查询实例机型列表,续费实例,调整实例带宽上限,调整实例配置,退还实例,重启实例,重置实例密码,重装实例,修改密钥对属性,创建密钥对,删除密钥对,导入密钥对,查询密钥对列表,绑定密钥对,解绑密钥对,修改镜像分享信息,修改镜像属性,创建自定义镜像,删除镜像,同步镜像,查看镜像列表,查询镜像分享信息,数据类型,地域相关接口,查询可用区列表,查询地域列表,扩容实例磁盘询价,调整实例带宽上限询价,调整实例配置询价,重装实例询价,续费实例询价,退还包年包月实例退费说明,镜像部署 WordPress 个人站点,镜像部署 Discuz! 论坛,Linux 系统检查 Virtio 驱动,API 概览,添加安全组规则,编辑单条安全组规则,错误码,步骤2:部署 PHP 环境,步骤3:安装 MySQL 数据库,删除安全组规则,Linux 实例登录相关问题,端口问题导致无法远程登录,Windows 实例:CPU 或内存占用率高导致无法登录,Linux 实例:CPU 或内存占用率高导致无法登录,访问管理,访问管理示例,授权策略语法,可授权的资源类型,访问管理概述,服务器被隔离导致无法登录,带宽占用高导致无法登录,安全组设置导致无法远程连接,无法登录 Windows 实例,Windows 云服务器搭建 FTP 服务,自定义配置 Windows 云服务器,自定义配置 Linux 云服务器,购买公网网络,公网计费模式,调整公网计费,Linux 云服务器搭建 FTP 服务,Windows 实例:需要网络级别身份验证,网络性能测试,实例规格,网络,简介,更新历史,使用示例,调用方式,公共参数,接口鉴权,示例代码,请求结构,返回结果,正确返回结果,错误码,错误返回结果,弹性公网IP相关接口,修改弹性公网IP属性,创建弹性公网IP,普通IP转弹性IP,查询弹性公网IP列表,查询弹性公网IP配额,绑定弹性公网IP,解绑定弹性公网IP,释放弹性公网IP,系统相关,安全组,安全组 API 概览,服务器常用端口,安全组概述,公网带宽上限,操作指南,无法创建 Network Namespace,Linux 系统安装 cloud-init,关机和重启云服务器失败,强制导入镜像,大数据型实例问题,域名无法解析(CentOS 6.x 系统),网站访问卡慢,网站无法访问,使用 MTR 分析网络延迟及丢包,实例 IP 地址 ping 不通,镜像,关于云服务器部分告警指标变更的公告,选择计费模式,选择实例类型,选择存储介质,规划网络,配置安全组,估算成本,使用限制总览,便捷功能,网络相关,最佳实践,故障处理,快照,置放群组,调整网络配置,搜索实例,实例调整配置费用说明,简介,API 概览,调用方式,请求结构,公共参数,签名方法,返回结果,更新历史,密钥相关接口,解绑密钥对,绑定密钥对,查询密钥对列表,删除密钥对,修改密钥对属性,创建密钥对,导入密钥对,地域相关接口,查询可用区列表,查询地域列表,镜像相关接口,修改镜像分享信息,同步镜像,查看镜像分享信息,修改镜像属性,查看镜像列表,删除镜像,外部镜像导入,查询外部导入镜像支持的OS列表,查询镜像配额上限,实例相关接口,调整实例带宽上限,退还实例,重装实例,续费实例询价,创建实例询价,查看实例列表,查询网络计费类型,创建实例,扩容实例磁盘,调整实例带宽上限询价,调整实例配置询价,查询实例带宽配置,启动实例,重置实例密码,查看实例状态列表,修改实例的属性,续费实例,重启实例,关闭实例,调整实例配置,修改实例所属项目,重装实例询价,查询所支持的实例机型族信息,查询实例机型列表,修改实例vpc属性,扩容实例磁盘询价,修改实例续费标识,数据结构,专用宿主机相关接口,创建CDH实例,查看CDH实例列表,修改CDH实例的属性,续费CDH实例,调整配置,调整项目配置,登录 Linux 实例,查看信息,查看实例信息,查看实例监控信息,修改内网 IP 地址,修改实例名称,导出实例,更换安全组,更换实例子网,重置实例密码,弹性公网 IP,导入镜像,更换公网 IP 地址,管理 SSH 密钥,创建镜像,操作指南总览,管理登录密码,分散置放群组,敏感操作保护,标签,编辑标签,实例相关故障,计费相关,实例相关,存储相关,弹性公网 IP 问题,弹性公网 IP 计费说明,地域和可用区相关,其他实例问题,登录和连接实例问题,实例使用限制问题,快照计费问题,云硬盘计费问题,网络计费问题,实例计费问题,备份和恢复数据问题,IP 地址问题,其他网络问题,共享自定义镜像问题,调整实例配置问题,系统盘使用问题,获取可用区机型配置信息,弹性网卡,访问管理相关,弹性网卡问题,防火墙问题,初始化数据盘(Linux 云服务器),设置自定义数据(Linux 云服务器),设置自定义数据(Windows 云服务器),管理实例 IP 地址,修改分散置放群组属性,查询分散置放群组信息,查询置放群组配额,删除分散置放群组,创建分散置放群组,制作 Linux 镜像,制作 Windows 镜像,竞价实例,竞价实例问题,管理竞价实例,获取公网 IP 地址,获取内网 IP 地址和设置 DNS,修改实例计费模式,修改实例计费模式询价,密钥问题,查询实例管理终端地址,词汇表,应用实操,基础知识,服务迁移,离线迁移,使用标签管理实例,镜像相关,Cloud-Init 和 Cloudbase-Init 问题,按量计费实例关机不收费说明,按量计费实例关机不收费,切换私有网络服务,Windows 操作系统安装 Cloudbase-Init,NTP 服务,NTP 服务概述,Linux 实例:配置 NTP 服务,Windows 实例:配置 NTP 服务,错误码,签名方法 v3,Windows 实例:发生身份验证错误,解绑安全组,绑定安全组,Windows 实例:Mac 远程登录异常,Windows 实例:远程桌面无法连接到远程计算机,Windows 实例:没有远程桌面服务登录的权限,Windows 实例登录相关问题,硬盘介质调整费用说明,调整硬盘介质,购买云硬盘,云硬盘类型说明,在线迁移概述,服务迁移相关,设置 Linux 云服务器进入单用户模式,搭建 WordPress 个人站点,搭建 Discuz! 论坛,云硬盘,扩容云硬盘,账号问题,查询实例操作限制,批量连续命名或指定模式串命名,无法登录云服务器问题处理思路,安全组应用案例,如何有效的修改 Linux 云服务器的 etc/hosts 配置,关于安全组53端口配置的公告,无法登录 Linux 实例,登录 Windows 实例,使用远程登录软件登录 Linux 实例,使用 SSH 登录 Linux 实例,使用 VNC 登录 Linux 实例,使用远程桌面连接登录 Windows 实例,使用 VNC 登录 Windows 实例,设置允许多用户远程登录 Windows 云服务器,腾讯 tlinux 用户服务协议,服务协议,无法通过 SSH 方式登录 Linux 实例,查询竞价实例回收状态,关于标准型 S5 价格调整的公告,TencentOS Server 简介,TencentOS Server,搭建 LNMP 环境,镜像部署 LNMP 环境,手动搭建 LNMP 环境(CentOS 7),镜像部署 Java Web 环境,搭建 Java Web 环境,手动搭建 Java Web 环境,搭建 Node.js 环境,镜像部署 Node.js 环境,手动搭建 Node.js 环境,镜像部署 Magento 电子商务网站,使用 AMH 搭建网站,镜像部署 AMH 和建站,手动搭建 AMH 和建站,搭建 LAMP 环境,镜像部署 LAMP 环境,手动搭建 LAMP 环境,手动搭建 Drupal 个人站点,手动搭建 Ghost 博客,镜像部署 Moodle 在线学习系统,在线迁移,腾讯云上迁移教程,不同源环境迁移教程,腾讯云 CVM 跨区域迁移数据,腾讯云 CVM 跨账号迁移数据,AWS EC2 迁移数据至腾讯云,阿里云 ECS 迁移数据至腾讯云,华为云 ECS 迁移数据至腾讯云,UCloud 云主机迁移数据至腾讯云,百度云 BCC 迁移数据至腾讯云,VMWare 虚拟机迁移数据至腾讯云,天翼云云主机迁移数据至腾讯云,在线迁移工具使用指引,手动搭建 LNMP 环境(CentOS 6),配置公网网关,镜像部署 Joomla 基础管理平台,MacOS 系统通过 MRD 上传文件到 Windows 云服务器,联系我们,Linux 系统通过 RDP 上传文件到 Windows 云服务器,搭建 FTP 服务,如何搭建网站,如何将本地文件拷贝到云服务器,Windows 实例:你的凭据不工作,手动搭建 WordPress 个人站点(Windows),手动搭建 WIPM 环境,安全,创建安全组,管理安全组规则,添加安全组规则,关联实例至安全组,管理安全组,查看安全组规则,修改安全组规则,导入安全组规则,删除安全组规则,导出安全组规则,查看安全组,删除安全组,移出安全组,克隆安全组,配置 IPv6 地址,解封25端口,新功能发布记录,管理实例的置放群组,Windows 实例:没有远程桌面授权服务器可以提供许可证,Linux 系统通过 FTP 上传文件到云服务器,修改云服务器远程默认端口,调整安全组优先级,Linux 系统使用 USB/IP 远程共享 USB 设备,Windows 系统使用 RemoteFx 重定向 USB 设备,安全相关,运维和监控相关,购买实例问题,自定义镜像问题,复制镜像问题,其他镜像问题,更换镜像(重装系统)问题,Windows 实例:重置密码失败或无效,通过 Sysprep 实现云服务器入域后 SID 唯一,实例使用问题,安全组问题,安全组规则问题,密码问题,公网带宽问题,云硬盘使用问题,挂载和卸载云硬盘问题,扩容和缩容云硬盘问题,快照使用问题,上传文件问题,运维问题,创建实例,实例创建指引,通过镜像创建实例,购买相同配置实例,搭建 Microsoft SharePoint 2016,搭建网站,搭建环境,搭建应用,修改 VNC 分辨率,新手指引,基本概念,Linux 实例:将 ntpdate 转换为 ntpd,搭建 PostgreSQL 主从架构,安装宝塔面板,搭建 Docker,搭建 Ubuntu 可视化界面,置放群组相关接口,网络相关接口,安全组相关接口,动态与公告,公共镜像更新记录,Linux 实例手动更换内核,Linux 实例常用内核参数介绍,关于硅谷地域标准型 S3 价格调整的公告,搭建 GitLab,搭建 RabbitMQ,管理实例角色,Linux 实例数据恢复,Windows 实例磁盘空间管理,开机实例,创建预留实例询价,查询预留实例机型配置,服务等级协议,NTP 服务相关,手动搭建 LNMP 环境(CentOS 8),生成创建实例 API Explorer 最佳实践脚本,端口问题导致无法登录,关于不再支持 Windows Server 2008 R2 企业版 SP1 64位系统镜像的公告,公网网络费用,调整云硬盘性能,销毁/退还实例,使用 API 销毁/退还包年包月实例及挂载的云硬盘,使用控制台销毁/退还实例,CentOS 6 切换 YUM 源,关于 WebShell 代理 IP 地址更替的公告,设置操作系统语言环境,关于多个可用区云服务器价格下调公告,TencentOS Server 常见问题,CentOS 8 安装 chronyd 服务,VNC 登录报错 Module is unknown,VNC 登录报错 Account locked due to XXX failed logins,VNC 登录输入正确密码后无响应,VNC 或 SSH 登录报错 Permission denied,TencentOS Server 特性,Linux 实例内存相关故障,实例内存使用率过高,日志报错 fork:Cannot allocate memory,VNC 登录报错 Cannot allocate memory,实例内存未耗尽时触发 Out Of Memory,搭建网站总览,应用场景相关,搭建环境总览,数据备份,其他场景相关操作,调整实例配置建议,提升实例购买数量配额,公网 IP 服务等级协议,查询用户配额详情,在 CVM 上通过 AVX512 加速人工智能应用,主机安全,DDoS 基础防护,概述,高吞吐网络性能测试,使用 netperf 测试,使用 DPDK 测试,运维与监控,实例自助检测,使用实例自助检测,使用移动设备登录 Linux 实例,使用移动设备登录 Windows 实例,云服务器迁移,云服务器网络访问丢包,内核及 IO 相关问题,云服务器通过内网访问对象存储,使用标准方式登录 Windows 实例(推荐),云服务器选型最佳实践,其他接口,退还实例询价,联系我们,搭建可视化界面,搭建 CentOS 可视化界面,查询实例可调整配置,Linux 实例使用 atop 监控工具
    来自:
  • 概述

    背景信息在当前人工智能趋势下,自然语言模型越大则提供的准确性越高。但由于成本、时间及代码无优化集成等问题,导致较大的模型难以训练。目前 GPT-3 的模型参数已经达到175B,模型参数的增长速度远超 GPU 显存的增长速度,数据并行和模型并行等传统优化方法在超大模型和过千亿参数面前也显现出了诸多瓶颈。如下图所示:为了使这些超大模型能够使用已有的硬件服务器训练,对应的解决方案需要在计算,通信和开发效率之间进行优化和权衡。Deepspeed 是微软开源的深度学习训练优化库,Deepspeed 通过 transformer kernel 性能优化、ZeRO(The Zero Redundancy Optimizer)显存优化及节省、提升模型 scale 能力等多个层面,对大模型训练做了详细的分析以及极致的性能优化,已经成为了超大 NLP 模型预训练的“利器”。优化方案TI-Deepspeed 是腾讯云智能钛团队在对 Deepspeed 调研和实践的基础上,从性能和易用性两方面对 Deepspeed 框架进行了相关优化的分布式训练框架。通过 TI-Deepspeed 显存节省技术、TI-Deepspeed 单机性能优化、TI-Deepspeed 多机可拓展性优化,并根据 NLP 大模型不同的参数规模沉淀出了完整且高性能的分布式训练方案。腾讯云智能钛团队旨在通过“一套框架“+”三套最佳实践”更好的服务有 NLP 预训练需求的客户。训练平台面向大规模机器学习训练场景,腾讯云推出了搭载 NVIDIA® Tesla® V100 GPU 和 100G 标准 RDMA 网卡的高性能黑石物理服务器2.0 HCCG5v 实例,TI-Deepspeed 最佳实践选用该机型实例作为底层物理硬件平台。大规模训练集群以 HCCG5v 实例为节点,通过 RDMA 互联,提供了高带宽和极低延迟的网络服务,能满足大规模高性能计算、人工智能、大数据推荐等应用的并行计算需求。如下图所示:优化成果百亿参数模型优化结果腾讯云智能钛团队使用8台 HCCG5v 实例(共64卡 V100)训练83亿和100亿参数规模 GPT-2, 通过使用 zero-2 纯数据并行,每卡可以达到近 40TFLOPs 的性能。如下表所示: 参数 layers=50 hidden size=4096attention head=32sequence_length=1024max-position-embeddings=1024 优化结果global_bsz bszmodel_parallel_sizeforwardbackwardstepiteration(ms)TFlopsGPU 64*6=384 612464.899288.2124001320052013.2 = 39.3 千亿参数模型训练优化结果腾讯云智能钛团队使用 zero-stage3 结合 cpu offload,在8台 HCCG5v 实例(共64卡 V100)的有限资源下训练千亿模型,通过增大 batchsize,隐藏通信开销,提升训练效率。如下表所示: 参数 layers=480 hidden size=4096attention head=32sequence_length=1024vocabulary_size= 50258→50304 优化结果bsz zerocpu-offloadmpdpglobsziterationTFlopsGPUgpucpu 内存占用 1 stage3no88883s1.2- 0 stage3yes884885.7s6.8 - 7 显存接近极致,内存220G 实践步骤实践具体操作步骤请参见 部署及实践。
    来自:
  • 部署及实践

    本文介绍在黑石物理服务器2.0 HCCG5v 实例上训练 TI-Deepspeed 大模型的具体步骤。示例操作环境本文中 TI-Deepspeed 大模型训练操作环境说明如下: 硬件平台:8台 HCCG5v 实例高性能计算集群操作系统版本:CentOS 7.6GPU 驱动版本:418.67CUDA 版本:10.1文件存储 CFS:创建文件系统及挂载点 操作步骤创建高性能计算集群创建集群登录云服务器控制台,选择左侧导航栏中的【高性能计算集群】。在“高性能计算集群”页面上方,选择“上海”地域,并单击【新建】。目前 HCCG5v 实例仅支持在上海地域使用。在弹出的“创建集群”页面中,按需选择可用区、输入集群名及描述,单击【确定】创建集群。本文创建集群可用区、集群名、描述如下图所示: 创建 HCCG5v 实例使用 HCCG5v 实例需通过申请,请前往 高性能计算集群申请 完成申请。参考 自定义配置 Linux 云服务器 进行创建。其中,实例需选择【高性能计算集群】>【GPU型高性能计算实例HCCG5v】。 创建 CFS 注意: CFS 需与高性能计算集群在同一可用区。 参考 创建文件系统及挂载点,创建 CFS 并获取挂载命令。本文以创建名称为 TI-Deepspeed示例 的 CFS 为例,获取挂载命令如下图所示:挂载 CFS参考 使用标准登录方式登录 Linux 实例(推荐),登录实例。执行以下命令,安装 nfs-utils。sudo yum install nfs-utils执行以下命令,创建待挂载目标目录 cfs。mkdir cfs执行以下命令,将本地目录挂载到 CFS 根目录下。命令中 IP 为示例 IP,请您以 CFS 挂载点信息获取的 IP 为准。sudo mount -t nfs -o vers=4.0,noresvport 10.0.0.7: cfs执行以下命令,创建个人文件夹 ti-deepspeed-demo。由于最佳实践均为多机运行程序,运行 demo 需要存储在不同机器上同一位置,建议将运行 demo 数据集都存储在 cfs 的个人文件夹中。mkdir cfsti-deepspeed-demo更多挂载 CFS 信息,请参考 在 Linux 客户端上使用 CFS 文件系统。 安装相关依赖安装 NVIDIA Tesla 驱动参考 安装 NVIDIA Tesla 驱动 进行 NVIDIA GPU V100 显卡驱动安装。安装成功后结果如下图所示:安装 CUDA 驱动参考 安装 CUDA 驱动 进行 cuda tookit 安装。其中,cuda 版本建议选择 CUDA Toolkit 10.1 update2,该版本解决了部分 gcc 编译问题。 注意: 重启实例后需重新挂载 CFS,挂载步骤请参见 挂载 CFS。 安装成功后结果如下图所示:安装 conda 环境执行以下命令,下载安装脚本。wget -c https:repo.continuum.iominicondaMiniconda3-latest-Linux-x86_64.sh执行以下命令,授予脚本权限。chmod 777 Miniconda3-latest-Linux-x86_64.sh执行以下命令,运行脚本,安装 conda。bash Miniconda3-latest-Linux-x86_64.sh按照界面提示输入提示信息及 conda 安装目录。请将 conda 安装在 cfsti-deepspeed-demo 目录下,安装至该目录则仅需安装一次软件依赖,不需要在每个节点上重复安装。如下图所示,本文以安装至 cfsti-deepspeed-demominiconda3 目录为例:执行以下命令,配置 torch1.7 环境。conda create --name torch1.7 python=3.8在每个节点的 ~.bashrc 里面添加如下命令,确保每个节点使用同样的 conda 环境。conda activate torch1.7 配置机器免密登录及安装 openmpi由于百亿千亿模型最佳实践均为8机64卡训练,按照一般分布式训练要求,机器需要提前做好免密登录,并安装好 openmpi。步骤如下: 执行以下命令,下载 openmpi 安装包。wget https:download.open-mpi.orgreleaseopen-mpiv4.1openmpi-4.1.1.tar.gz执行以下命令,解压 openmpi 安装包。tar -zxvf openmpi-4.1.1.tar.gz依次执行以下命令,安装 openmpi。cd openmpi-4.1.1.configure make && sudo make install执行以下命令,验证 openmpi 是否安装成功。which mpicc返回结果如下图所示,则表明已成功安装。 安装 pytorch执行以下命令,安装 pytorch。需要安装 pytorch gpu 版本,推荐使用 torch1.7 版本。pip install torch==1.7.1+cu101 torchvision==0.8.2+cu101 torchaudio==0.7.2 -f https:download.pytorch.orgwhltorch_stable.html 说明: 如因网络超时导致 torch 安装失败,建议下载离线包上传到服务器进行安装。 下载地址:https:download.pytorch.orgwhltorch_stable.htmltorch 版本:cu101torch-1.7.1%2Bcu101-cp38-cp38-linux_x86_64.whl 安装 apex百亿千亿模型通过混合精度加速训练,需安装 apex。步骤如下: 执行以下命令,确认 gcc 版本。gcc --versionapex 安装需要依赖 gcc 5.0 以上版本,如需升级 gcc,请依次执行以下命令。yum install centos-release-scl -yyum install devtoolset-7 -yscl enable devtoolset-7 bashgcc --versionsource optrhdevtoolset-7enable依次执行以下命令,下载并安装 apex。yum install git -ygit clone https:github.comNVIDIAapexcd apexpip install -v --disable-pip-version-check --no-cache-dir --global-option=--cpp_ext --global-option=--cuda_ext . 安装 ti-deepspeed 框架依次执行以下命令,通过 whl 包安装 ti-deepspeed 框架,该框架仅支持在腾讯云黑石机器上使用。wget https:tids-1259675134.cos.ap-nanjing.myqcloud.comdeepspeed-0.3.14%2Bunknown-cp38-cp38-linux_x86_64.whlpip install deepspeed-0.3.14+unknown-cp38-cp38-linux_x86_64.whl 检查依赖环境完成依赖软件配置步骤后,请查看依赖软件及版本是否符合下表: 依赖软件 版本 cuda toolkit 10.1 openmpi 版本不限制 torch 1.7.1+cu101 apex github master 分支 检查运行环境切换至 python 环境并执行以下命令,检查运行环境是否正常。import deepspeedimport torchimport apex 返回结果如下图所示,则表明运行环境正常。执行 ds_report 命令,返回如下图所示结果,则表明运行环境正常。 下载 demo 数据及脚本运行百亿千亿模型最佳实践,需下载以下内容: 下载内容COS 存储名称 ti-ds 框架 whl 包deepspeed-0.3.14+unknown-cp38-cp38-linux_x86_64.whl 百亿千亿模型最佳实践ti-deepspeed-examples.zip 百亿模型训练集webtext.tgz 千亿模型训练集100B.tar.gz 依次执行以下命令,将 ti-deepspeed 百亿千亿最佳实践 demo 下载至已创建的 CFS 中。本文以下载至 cfsti-deepspeed-demo 目录为例:cd cfsti-deepspeed-demowget https:tids-1259675134.cos.ap-nanjing.myqcloud.comti-deepspeed-examples.zip执行以下命令,解压 demo。unzip ti-deepspeed-examples.zip 运行 demo 程序百亿模型实践依次执行以下命令,下载百亿模型训练集至已创建的 CFS 中。本文以下载至 cfsti-deepspeed-demo 目录下为例:cd cfsti-deepspeed-demowget https:tids-1259675134.cos.ap-nanjing.myqcloud.comwebtext.tgz执行以下命令,解压百亿模型训练集。tar xvf webtext.tgz执行以下命令,进入 demo 目录。cd ti-deepspeed-examplesMegatron-LM根据实际情况修改启动脚本 scriptsmultirun-10B.sh,启动脚本介绍如下图所示:8台机器的内网 IP 地址,可前往 实例 列表页面获取。创建日志文件夹 logs。launch job 的 IP 信息。torch ddp 连接的端口信息,需确保该端口未被占用。运行目录。表示依次 ssh 到各个节点,启动 ddp。 执行以下命令,启动脚本。sh scriptsmultirun-10B.sh启动脚本在每台机器节点上运行实际训练脚本。脚本位置为 scriptsds_pretrain_10Bgpt2_distributed.sh。内容如下:#数据集位置,从cos上拉取获得DATA_PATH=cfsti-deepspeed-demowebtextdata.json#模型输出CHECKPOINT_PATH=.outputDISTRIBUTED_ARGS=--nproc_per_node $GPUS_PER_NODE --nnodes $NNODES --node_rank $NODE_RANK --master_addr $MASTER_ADDR --master_port $MASTER_PORT#超参数设置python -m torch.distributed.launch $DISTRIBUTED_ARGS pretrain_gpt2.py --deepspeed --deepspeed_config .scriptsdebug-10B.json --model-parallel-size 1 --num-layers 50 --hidden-size 4096 --num-attention-heads 32 --batch-size 6 --seq-length 1024 --max-position-embeddings 1024 --train-iters 500000 --save $CHECKPOINT_PATH --train-data $DATA_PATH --lazy-loader --tokenizer-type GPT2BPETokenizer --split 949,50,1 --distributed-backend nccl --lr 0.00015 --lr-decay-style cosine --weight-decay 1e-2 --clip-grad 1.0 --warmup .01 --checkpoint-activations --log-interval 1 --save-interval 10000 --eval-interval 1000 --eval-iters 10 --fp16根据实际情况修改暂停脚本 scriptsall-kill.sh,并根据实际需要执行。sh scriptsall-kill.sh训练日志如下: 千亿模型实践依次执行以下命令,下载千亿模型训练集至已创建的 CFS 中。本文以下载至 cfsti-deepspeed-demodatasets 目录下为例:mkdir cfsti-deepspeed-demodatasetswget https:tids-1259675134.cos.ap-nanjing.myqcloud.com100B.tar.gz执行以下命令,解压迁移模型训练集。tar xvf 100B.tar.gz执行以下命令,进入 demo 目录。cd ti-deepspeed-examplesMegatron-LM-v1.1.5-ZeRO3根据实际情况修改启动脚本 scriptsmultirun100Boffload.sh,启动脚本介绍如下图所示:8台机器的内网 IP 地址,可前往 实例 列表页面获取。创建日志文件夹 logs。launch job 的 IP 信息。torch ddp 连接的端口信息,需确保该端口未被占用。运行目录。表示依次 ssh 到各个节点,启动 ddp。 执行以下命令,启动脚本。sh scriptsmultirun100Boffload.sh 启动脚本在每台机器节点上运行实际训练脚本。脚本位置为 scriptsds_pretrain_100Bgpt2_distributed.sh。内容如下:#! binbash# Runs the 345M parameter modelGPUS_PER_NODE=8MASTER_ADDR=${1:-localhost}MASTER_PORT=${2:-6000}NNODES=${3:-1}NODE_RANK=${4:-0}WORLD_SIZE=$(($GPUS_PER_NODE*$NNODES))#数据集位置,从cos上拉取获得DATA_PATH=cfsti-deepspeed-demodatasetsdb_text_documentVOCAB_PATH=.gpt2-vocab.jsonMERGE_PATH=.gpt2-merges.txtCHECKPOINT_PATH=.outputDISTRIBUTED_ARGS=--nproc_per_node $GPUS_PER_NODE --nnodes $NNODES --node_rank $NODE_RANK --master_addr $MASTER_ADDR --master_port $MASTER_PORTpython -m torch.distributed.launch $DISTRIBUTED_ARGS pretrain_gpt2.py --deepspeed --deepspeed_config .scripts100B.json --model-parallel-size 8 --num-layers 480 --hidden-size 4096 --num-attention-heads 32 --batch-size 6 --seq-length 1024 --max-position-embeddings 1024 --train-iters 500000 --save $CHECKPOINT_PATH --data-path $DATA_PATH --vocab-file $VOCAB_PATH --merge-file $MERGE_PATH --tokenizer-type GPT2BPETokenizer --split 949,50,1 --distributed-backend nccl --lr 0.00015 --lr-decay-style cosine --weight-decay 1e-2 --clip-grad 1.0 --warmup .01 --log-interval 1 --save-interval 10000 --eval-interval 1000 --eval-iters 10 --fp16 --cpu-optimizer --checkpoint-activations set +x查看 .logs 文件夹下日志输出。
    来自:
  • 在 CDH 间迁移实例

    操作场景本文介绍如何通过控制台,在不同的专用宿主机之间迁移实例。注意事项待迁移实例需注意以下事项: 实例需处于“已关机”状态。不支持使用本地盘的实例进行迁移。实例需使用私有网络。若实例使用基础网络,可参考 切换私有网络服务 进行网络切换。 目标 CDH 需满足以下条件: 与待迁移 CDH 需处于同一账号、同一地域、同一可用区下。可用资源足够分配给待迁移实例,即目标 CDH 剩余 CPU 、内存资源大于等于要迁移实例。 操作步骤登录云服务器控制台,选择左侧导航栏中的【专用宿主机】。在“专用宿主机”页面上方,选择宿主机所在地域。选择待迁移实例所属的宿主机名,进入该宿主机详情页面,单击【实例列表】页签。在【实例列表】页签中,您可按需进行单个或批量实例迁移: 单个实例迁移 批量实例迁移 选择需迁移实例所在行右侧的【更多】>【调整所属宿主机】。如下图所示:勾选需迁移实例前的复选框,并选择页面上方的【更多操作】>【调整所属宿主机】。如下图所示:在弹出的“调整所属宿主机”窗口中,选择“目标宿主机”。如下图所示:单击【确定】即可执行迁移操作。刷新 专用宿主机 页面,即可查看迁移后的实例所对应的宿主机已更新,并且实例状态为“已关机”。
    来自:
  • CDH 实例转换为 CVM 实例

    操作场景本文介绍如何通过控制台,将专用宿主机上的云服务器 CVM 实例转换为共享宿主机 CVM 实例,满足业务灵活部署的需求。注意事项待迁移实例需注意以下事项: 实例需处于“已关机”状态。不支持使用本地盘的实例进行迁移。可参考 调整硬盘介质,将本地盘调整为云硬盘。若实例已挂载增强型 SSD 型云硬盘,则可能会因硬盘本身限制导致无法选择目标实例。具体限制请参见云硬盘类型中的 注意事项。 目标 CVM 需满足以下条件: 与待迁移 CVM 需处于同一账号、同一地域、同一可用区下。可用资源足够分配给待迁移实例,即目标 CDH 剩余 CPU 、内存资源大于等于要迁移实例。 操作步骤登录云服务器控制台,选择左侧导航栏中的【专用宿主机】。在“专用宿主机”页面上方,选择宿主机所在地域。选择待转换实例所属的宿主机名,进入该宿主机详情页面,单击【实例列表】页签。单击需转换实例所在行右侧的【转换为CVM实例】。如下图所示: 说明: 如需批量迁移实例,请在列表中勾选实例后,选择列表上方的【更多操作】>【实例设置】>【转换为CVM实例】。 在弹出的“转换为CVM实例”窗口中,进行如下配置。在“选择目标配置”中,选择目标实例规格后单击【下一步】。如下图所示:在”选择计费类型“中,选择目标计费类型,确认费用明细后单击【下一步】。如下图所示:在“关机提示”中,确认关机提示并单击【开始调整】即可。实例转换完成后将自启动,状态为“运行中”。您可前往 云服务器控制台 页面查看。
    来自:
  • CVM 实例迁移至 CDH

    操作场景本文介绍如何通过控制台,将云服务器 CVM 实例迁移至专用宿主机,满足业务灵活部署的需求。注意事项待迁移实例需注意以下事项: 实例需处于“已关机”状态。不支持使用本地盘的实例进行迁移。可参考 调整硬盘介质,将本地盘调整为云硬盘。仅支持按量计费实例迁移至 CDH。若实例已挂载增强型 SSD 型云硬盘,则可能会因硬盘本身限制导致无法选择目标实例。具体限制请参见云硬盘类型中的 注意事项。 目标 CDH 需满足以下条件: 与待迁移 CVM 需处于同一账号、同一地域、同一可用区下。可用资源足够分配给待迁移实例,即目标 CDH 剩余 CPU 、内存资源大于等于要迁移实例。 操作步骤登录 云服务器控制台。选择需迁移实例所在行右侧的【更多】>【实例设置】>【迁移至专用宿主机】。 说明: 如需批量迁移实例,请在列表中勾选实例后,选择列表上方的【更多操作】>【实例设置】>【迁移至专用宿主机】。 在弹出的“迁移至专用宿主机”窗口中,进行如下配置。如下图所示:在“选择专用宿主机”中,选择目标宿主机后单击【下一步】。在”费用明细“中,确认费用明细并单击【下一步】。如下图所示:在“关机提示”中,勾选“同意强制关机”并单击【开始调整】即可。实例转换完成后将自启动,状态为“运行中”。您可前往 专用宿主机 页面查看。
    来自:

扫码关注云+社区

领取腾讯云代金券