大语言模型，算力共享-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大语言模型，算力共享

大语言模型和算力共享

专栏成员

38

文章

5606

阅读量

16

订阅数

关于联邦学习每个参与者的每次epoch结果是否需要聚合；联邦学习流程

腾讯技术创作特训营S9

在联邦学习的典型流程中，每个参与者（也称为客户端或设备）会在本地数据集上执行多个epoch的训练。在每个epoch结束后，参与者会计算本地模型的更新（例如，权重更新）。这些本地更新随后被发送到中央服务器（也称为聚合器或协调器）。

2024-10-04

1370

联邦学习中的模型异构：知识蒸馏

腾讯技术创作特训营S9

想象一下，在联邦学习的广阔舞台上，每个参与者都拥有自己独特的“武器”——不同的模型结构和训练方法。这就是模型异构！它可能源于卷积神经网络CNN与递归神经网络RNN的激烈对决，也可能源于学习率大小的微妙差异，甚至可能源于数据预处理方法的独特选择。

2024-10-03

2100

大语言模型（LLM）的子模块拆拆分进行联邦学习；大语言模型按照多头（Multi-Head）拆分进行联邦学习

腾讯技术创作特训营S9

大语言模型（LLM）的子模块拆分进行联邦学习，主要涉及到将大模型的不同部分或功能模块在多个客户端或设备上进行分布式训练，同时保护数据隐私并提升模型性能。以下是一种可能的方式及简单示例：

2024-10-02

1270

揭秘联邦学习与知识蒸馏：医疗诊断领域的隐私保护新策略

腾讯技术创作特训营S9

你是否曾想过，在保护患者隐私的同时，多家医疗机构能否共同提升医疗诊断模型的准确性？联邦学习（Federated Learning），这一新兴的机器学习技术，正悄然改变着这一切。

2024-10-01

2140

算力共享系统中数据平面和控制平面

腾讯技术创作特训营S9

在算力共享系统中，数据平面和控制平面是两个关键组成部分，它们各自承担着不同的角色和功能。以下是对这两个平面的详细说明，并通过一个算力共享系统的例子来进一步阐述。

2024-09-29

3200

揭秘大模型背后的神秘力量：算力、数据与算法的“黄金三角”

腾讯技术创作特训营S9

在人工智能的浩瀚星空中，大模型犹如一颗璀璨的新星，引领着技术的前沿。但你是否好奇，是什么让这颗新星如此耀眼？今天，就让我们一起揭开大模型背后的神秘面纱，探索那支撑其辉煌成就的“黄金三角”——算力、数据与高性能算法。

2024-09-27

2970

【揭秘大脑奇迹：超低功耗下的超级算力之谜】

腾讯技术创作特训营S9

在浩瀚的生物科技探索中，有一项奇迹始终引人入胜——人类大脑，这个仅重约1.4千克的超级计算机，其功耗之低，令人咋舌！想象一下，一个健康成年人的大脑，每天以仅相当于一盏小夜灯的20瓦特能量，驱动着地球上最复杂的思维与情感活动。这不仅是自然界的杰作，更是激发无数科学家好奇心的未解之谜。

2024-09-24

2600

探索前沿科技：Tinygrad、Llama3与Reward Model的深度剖析

腾讯技术创作特训营S9

在深度学习框架的浩瀚星空中，一颗新星正悄然升起——Tinygrad。由传奇黑客George Hotz（昵称geohot）亲手打造，这款框架以其“小而美”的哲学，挑战着PyTorch与TensorFlow等传统巨头的地位。

2024-09-20

1440

虚拟化技术实现；容器和虚拟化；

腾讯技术创作特训营S9

算力共享平台在实现过程中，通常会采用多种虚拟化技术来优化算力资源的分配和利用。以下是一些主要的虚拟化技术，它们在算力共享平台中的应用：

2024-09-18

1270

Ironic服务是什么；Ironic服务中用户镜像，租户怎么使用

腾讯技术创作特训营S9

Ironic服务是OpenStack中用于裸金属（物理服务器）管理的组件。它提供了对物理服务器的全面管理功能，使得用户可以在云环境中直接控制和管理实体硬件。以下是对Ironic服务的详细介绍和使用方法的概述：

2024-09-18

1650

BMC+ssh和共享平台的Ironic服务，实现裸金属服务器的远程管理与调用

腾讯技术创作特训营S9

通过BMC（基板管理控制器）+SSH和共享平台的Ironic服务实现裸金属服务器的远程管理，并将运行信息回传到共享平台，是一个涉及多步骤和组件的过程。以下是一个详细的步骤说明：

2024-09-17

1850

揭秘NanoGPT模型切片技术：如何高效共享推理算力，加速AI应用落地

腾讯技术创作特训营S9

由于transformer的矩阵参数结构，每一个多头都能独立运行输出结果，因此模型切片是可以从头到尾执行完成的

2024-09-13

1221

6G；网络6G和5G区别联系；太赫兹通信技术

腾讯技术创作特训营S8

假设一个城市正在构建一个智能交通系统，该系统需要实时收集和处理来自各个交通节点的数据，以实现交通流量的优化和事故的预防。在5G网络的支持下，该系统已经能够实现大部分功能，但在高峰时段或复杂交通环境下，可能会出现数据传输延迟或拥堵的情况。而在6G网络的支持下，由于具有更高的传输速率和更低的延迟，该系统将能够更快速、更准确地收集和处理数据，从而实现更高效的交通管理和更安全的道路环境。

2024-08-21

1370

星际文件系统优点和原理

腾讯技术创作特训营S8

在IPFS中，文件一旦被存储是不能在系统中修改的，因为修改文件会改变文件的哈希值。

2024-08-20

1140

腾讯技术创作特训营S8

ZKRollup，全称为Zero-Knowledge Rollup，是一种基于零知识证明的二层扩容方案（Layer 2）。它旨在通过提高交易处理效率和降低交易成本来扩展区块链网络的能力，尤其是在以太坊等区块链平台上得到了广泛应用。以下是对ZKRollup的简单说明：

2024-08-15

1260

零知识证明；Halo2原理；举例说明算术电路、转换为约束系统、多项式承诺举例形式和数值；PLANK算术化；

腾讯技术创作特训营S8

零知识证明（Zero-Knowledge Proof，简称ZKP）是一种密码学工具，允许互不信任的通信双方之间证明某个命题的有效性，同时不泄露任何额外信息。这种技术最初由莎菲·戈德瓦塞尔、S.Micali及C.Rackoff在20世纪80年代初提出，其核心在于证明者能够在不向验证者提供任何有用信息的情况下，使验证者相信某个论断是正确的。

2024-08-14

1390

腾讯技术创作特训营S8

GitHub地址：GitHub - bbycroft/llm-viz: 3D Visualization of an GPT-style LLM

2024-08-13

1010

GPU的并发技术原理，实际案例说明；matrixMul==6000，k=6000

腾讯技术创作特训营S8

以CUDA（Compute Unified Device Architecture，英伟达推出的统一计算架构）为例，介绍GPU在矩阵乘法中的应用。

2024-08-12

1150

Transformer模型注意力机制；层归一化（Layer Normalization）

腾讯技术创作特训营S8

中，有几个关键的公式和概念需要解释，包括注意力机制（Attention Mechanism）和层归一化（Layer Normalization）。以下是详细的解释：

2024-08-10

1670

MLP：全连接神经网络的并行执行

腾讯技术创作特训营S8

为了继续解释这段代码，我们需要做一些假设和补充，因为原始代码片段中DummyModel、Shard和mx.array的具体实现没有给出。不过，基于常见的编程模式和深度学习框架的惯例，我们可以推测这些组件的大致功能和目的。

2024-08-09

1010

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态