首页
学习
活动
专区
工具
TVP
发布

小锋学长生活大爆炸

分享自己学习过程中的笔记、教程、踩坑、经验等等
专栏作者
381
文章
711565
阅读量
31
订阅数
【教程】深度学习中的自动编码器Autoencoder是什么?
自动编码器已成为使计算机系统能够更有效地解决数据压缩问题的技术和技巧之一。它们成为减少嘈杂数据的流行解决方案。
小锋学长生活大爆炸
2024-01-15
4850
【翻译】Robust Graph Neural Networks 稳健的图神经网络
         作为机器学习 (ML) 中的标准,GNN 假设训练样本是随机均匀选择的(即,是独立同分布或“IID”样本)。使用标准学术数据集很容易做到这一点,这些数据集是专门为研究分析而创建的,因此每个节点都已经被标记。
小锋学长生活大爆炸
2023-03-01
3360
【阅读】Distributed Graph Neural Network Training: A Survey——翻译
图神经网络(GNNs)是一种在图上学习的深度学习模型,并已成功应用于许多领域。尽管 GNN 有效,但 GNN 有效地扩展到大型图仍然具有挑战性。作为一种补救措施,分布式计算成为训练大规模 GNN 的一种有前途的解决方案,因为它能够提供丰富的计算资源。然而,图结构的依赖性增加了实现高效分布式 GNN 训练的难度,导致大量通信和工作负载不平衡。近年来,在分布式 GNN 训练方面做出了很多努力,并提出了一系列训练算法和系统。然而,缺乏对从图处理到分布式执行的优化技术的系统回顾。在本次调查中,我们分析了分布式 GNN 训练的三大挑战,即海量特征通信、模型精度损失和工作负载不平衡。然后,我们为分布式 GNN 训练中的优化技术引入了一种新的分类法,以应对上述挑战。新分类法将现有技术分为四类,即 GNN 数据分区、GNN 批处理生成、GNN 执行模型和 GNN 通信协议。我们仔细讨论了每个类别中的技术。最后,我们分别总结了用于多 GPU、GPU 集群和 CPU 集群的现有分布式 GNN 系统,并讨论了可扩展 GNN 的未来发展方向。
小锋学长生活大爆炸
2023-03-01
6120
【阅读】A Comprehensive Survey on Electronic Design Automation and Graph Neural Networks——EDA+GNN综述翻译
3 CLASSIFICATION OF GRAPH NEURAL NETWORKS
小锋学长生活大爆炸
2022-11-22
4850
【阅读】2021 OSDI——P3: Distributed Deep Graph Learning at Scale 论文翻译
2.3 Challenges in Distributed GNN Training
小锋学长生活大爆炸
2022-11-02
4890
【调研】详解Transformer结构——Attention Is All You Need
        Transformer是一个完全依赖自注意力的面向sequence to sequence任务的NLP模型,由谷歌大脑在17年的论文《Attention is all you need》中首次提出。它抛弃了传统的CNN和RNN神经网络,整个网络结构完全由Attention机制以及前馈神经网络组成,它解决了RNN长期依赖和无法并行化以及CNN缺失全局特征等问题。(尽管LSTM等门机制的结构一定程度上缓解了长期依赖的问题,但是对于特别长期的依赖现象,LSTM依旧无能为力。)
小锋学长生活大爆炸
2022-10-28
6540
【调研】GPU矩阵乘法的性能预测——Machine Learning Approach for Predicting The Performance of SpMV on GPU
        通常,矩阵的大部分值都是零,因此在矩阵中,将数值为0的元素的数目远远大于非0的元素的数目,并且非0元素分布无规律时,称为稀疏矩阵;反之,则称为稠密矩阵。
小锋学长生活大爆炸
2022-10-28
1.5K0
《解密并行和分布式深度学习:深度并发分析》摘要记录
在单个处理器上处理图所需的时间是T_1 = W,在无限多个进程上处理图所需的时间是。计算中的平均并行度是,在个处理器上的执行时间受限于:
小锋学长生活大爆炸
2022-09-02
3970
安装CUDA环境,并创建第一个HelloWord入门工程
可以参考教程:保姆级的CUDA的下载安装使用,详细的环境变量配置,不仅仅让你能够安装,还会教你弄懂为什么要这样安装 - 知乎
小锋学长生活大爆炸
2022-06-12
5440
理解 LSTM 网络
人类不会每一秒都从头开始思考。当你阅读这篇文章时,你会根据对之前单词的理解来理解每个单词。您不会扔掉所有东西并重新从头开始思考。你的思想有恒心。
小锋学长生活大爆炸
2022-05-09
5140
YOLOv5结构分析与理解—图解
        YOLOv5是一种单阶段目标检测算法,该算法在YOLOv4的基础上添加了一些新的改进思路,使其速度与精度都得到了极大的性能提升。YOLOv5融合了数千小时研发过程中学到的经验教训和最佳实践。
小锋学长生活大爆炸
2022-05-09
5.4K0
在Raspberry Pi 4上安装NCNN/MNN深度学习框架(aarch64+armv7l)
‎如果一切顺利,您将获得两个文件夹。一个包含所有头文件,另一个包含库,如屏幕转储中所示。‎
小锋学长生活大爆炸
2021-11-30
2.2K1
YOLO相关
The size of tensor a (19) must match the size of tensor b (76) at non-singleton dimension 3
小锋学长生活大爆炸
2021-11-24
7940
Keras入门级MNIST手写数字识别超级详细教程
文件下载:https://download.csdn.net/download/sxf1061700625/19229794
小锋学长生活大爆炸
2021-06-11
9110
Keras入门级MNIST手写数字识别超级详细教程
文件下载:https://download.csdn.net/download/sxf1061700625/19229794
小锋学长生活大爆炸
2021-05-30
5.3K0
自己动手实现4大免费聊天机器人:小冰、图灵、腾讯、青云客
聊天机器人(Chatterbot)是经由对话或文字进行交谈的计算机程序。能够模拟人类对话,通过图灵测试,如Siri、小爱同学、微软小冰等。
小锋学长生活大爆炸
2020-08-13
6K0
深度学习基础知识点归纳总结
1. 最小化代价函数优化方法:BGD、SGD、MBGD、动量、NAG、Adagrad、AdaDelta、Adam、AMSGrad、牛顿法;
小锋学长生活大爆炸
2020-08-13
5250
深度学习中的过拟合问题
  欠拟合:根本原因是特征维度过少,模型过于简单,导致拟合的函数无法满足训练集,误差较大。
小锋学长生活大爆炸
2020-08-13
1.4K0
深度学习基础知识题库大全
解析:正确答案A,更多层意味着网络更深。没有严格的定义多少层的模型才叫深度模型,目前如果有超过2层的隐层,那么也可以及叫做深度模型。
小锋学长生活大爆炸
2020-08-13
2.2K0
计算CNN卷积神经网络中各层的参数数量「附代码」
每个对机器学习感兴趣的机器学习工程师/软件开发人员/学生都在卷积神经网络(也称为CNN)上工作。我们有一个一般理论,即如何训练网络对图像进行分类。但是,刚接触机器学习/神经网络的人们并不了解CNN如何精确地学习参数。
小锋学长生活大爆炸
2020-08-13
3.7K0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档