腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

数据派THU

专栏作者

2139

文章

1946243

阅读量

188

订阅数

归一化技术比较研究：Batch Norm, Layer Norm, Group Norm

规范化模型数据神经网络 layer

归一化层是深度神经网络体系结构中的关键，在训练过程中确保各层的输入分布一致，这对于高效和稳定的学习至关重要。归一化技术的选择（Batch, Layer, GroupNormalization）会显著影响训练动态和最终的模型性能。每种技术的相对优势并不总是明确的，随着网络体系结构、批处理大小和特定任务的不同而变化。

2024-04-18

890

论文 | 一切皆可连接：图神经网络 | 大牛GAT作者Petar Velickovic最新综述

神经网络连接论文模型网络

在许多方面，图是我们从自然界接收数据的主要形式。这是因为我们看到的大多数模式，无论是在自然系统还是人工系统中，都可以使用图结构语言来优雅地表示。突出的例子包括分子（表示为原子和键的图）、社交网络和运输网络。这种潜力已经被主要的科学和工业团体看到，其已经受到影响的应用领域包括流量预测、药物发现、社交网络分析和推荐系统。此外，前几年机器学习最成功的一些应用领域——图像、文本和语音处理——可以被视为图表示学习的特例，因此这些领域之间存在大量的信息交换。这项简短调查的主要目的是使读者能够吸收该领域的关键概念，并在相关领域的适当背景下定位图表示学习。

2023-12-19

4260

原创 | 图神经网络在区块链交易数据分析研究中的应用

区块链神经网络数据分析加密数据

加密数字货币是数字货币的一种，它不依靠法定货币机构发行，不受央行管控。借助于区块链等新兴技术，加密数字货币主要表现出去中心化、低交易费用和成本、国际流通、共识机制、高度匿名性和分布式存储等特征和优势，而这会更易成为犯罪分子进行违法活动的工具，从而对全球的加密数字货币交易监管提出了严峻的挑战。加密数字货币监管技术侧重监管和制止以加密数字货币方式的高科技犯罪活动，是保护资金安全和国家安全的重要手段，也是区块链技术能够得到广泛应用的前提条件[1]。

2023-09-07

5730

原创 | 图注意力神经网络(Graph Attention Networks)综述

神经网络 graph 模型数据优化

图形，由点、线、面和体构成，代表了一种理解抽象概念和表达抽象思想的有效工具。图形语言的优势在于其跨越语言障碍的能力，这种能力和技术大多是人类为了理解世界而发展出来的。计算机科学和人工智能的快速进步，使得理解和学习事物之间的更深层次客观关系变得可能。图神经网络(GNN)的诞生，更加帮助人类通过图形来了解和解决问题。图注意力神经网络(GAT)是一种专为处理图结构数据而设计的特殊神经网络。不同于传统神经网络，GAT在处理输入数据时，会充分考虑数据间的关系，使其在处理图结构数据时能更准确地捕捉到数据间的关联性。GAT的主要优势在于其自动学习节点间关系的能力，无需人工预设。

2023-08-08

2.6K0

独家 | AI教父Geoffery Hinton：我开发的技术，为什么现在让我如此害怕

神经网络人工智能工作开发模型

作者：Will DOuglas Heaven翻译：殷之涵校对：孙韬淳本文约4500字，建议阅读9分钟本文为你分享 AI 教父在谷歌工作了十年之后决定辞职的原因。那天，我在Geoffrey Hinton的家中（位于北伦敦的一条漂亮街道）见到了他。仅4天后，他从谷歌辞职的声明便轰动全球。Hinton是深度学习领域的先驱，开发了现代人工智能核心技术中一些最重要的部分。在谷歌工作了十年之后，他决定辞职，专注于人工智能中他所关心的当下新议题。 Hinton震惊于像 GPT-4 这样的新一代大语言模型的能力，想

2023-05-18

2560

神经网络 torch 函数框架数据

来源：DeepHub IMBA本文约1300字，建议阅读5分钟Softmax是逻辑回归的一种推广，可以用于多分类任务，其公式与逻辑回归的sigmoid函数非常相似。 Softmax是一种数学函数，通常用于将一组任意实数转换为表示概率分布的实数。其本质上是一种归一化函数，可以将一组任意的实数值转化为在[0, 1]之间的概率值，因为softmax将它们转换为0到1之间的值，所以它们可以被解释为概率。如果其中一个输入很小或为负，softmax将其变为小概率，如果输入很大，则将其变为大概率，但它将始终保持在0到1之

2023-05-18

3.4K0

图神经网络必读的5个基础模型: GCN, GAT, GraphSAGE, GAE, DiffPool.

神经网络基础模型数据网络

来源：机器学习算法那些事极市平台 https://zhuanlan.zhihu.com/p/136521625 本文约6000字，建议阅读10分钟本篇文章将从一个更直观的角度对当前经典流行的GNN网络，包括GCN、GraphSAGE、GAT、GAE以及graph pooling策略DiffPool等等做一个简单的小结。 “近年来，深度学习领域关于图神经网络（Graph Neural Networks，GNN）的研究热情日益高涨，图神经网络已经成为各大深度学习顶会的研究热点。GNN处理非结构化数据时的出色

2023-05-11

1.7K0

生成式模型与辨别式模型

神经网络决策树函数模型数据

来源：DeepHub IMBA 本文约1800字，建议阅读5分钟本文解释了这两种模型类型之间的区别，并讨论了每种方法的优缺点。分类模型可以分为两大类:生成式模型与辨别式模型。本文解释了这两种模型类型之间的区别，并讨论了每种方法的优缺点。辨别式模型辨别式模型是一种能够学习输入数据和输出标签之间关系的模型，它通过学习输入数据的特征来预测输出标签。在分类问题中，我们的目标是将每个输入向量x分配给标签y。判别模型试图直接学习将输入向量映射到标签的函数f(x)。这些模型可以进一步分为两个子类型: 分类器试图

2023-05-11

2350

RNN循环神经网络、LSTM长短期记忆网络实现时间序列长期利率预测

神经网络 lstm 模型数据网络

本文约1700字，建议阅读5分钟本文将演示如何在 R 中使用 LSTM 实现时间序列预测。全文链接：http://tecdat.cn/?p=25133 2017 年年中，R 推出了 Keras 包

2023-05-11

5290

无需写代码能力，手搓最简单BabyGPT模型：前特斯拉AI总监新作

神经网络 gpt 模型数据系统

来源：机器之心深度学习技术前沿本文约3400字，建议阅读5分钟本文分享了BabyGPT模型。我们知道，OpenAI 的 GPT 系列通过大规模和预训练的方式打开了人工智能的新时代，然而对于大多数研究者来说，语言大模型（LLM）因为体量和算力需求而显得高不可攀。在技术向上发展的同时，人们也一直在探索「最简」的 GPT 模式。近日，特斯拉前 AI 总监，刚刚回归 OpenAI 的 Andrej Karpathy 介绍了一种最简 GPT 的玩法，或许能为更多人了解这种流行 AI 模型背后的技术带来帮助。

2023-05-11

3140

【普林斯顿博士论文】深度神经网络在监督学习、生成建模和自适应数据分析中的泛化

神经网络深度学习监督学习数据分析数据

📷 来源：专知本文为论文介绍，建议阅读5分钟本文从监督学习开始，最终目的是通过提出新的理论框架和实用工具，阐明深度神经网络在生成式建模和自适应数据分析中的泛化性能。 📷 为什么在小数据集上训练的具有大

2023-04-25

1760

原创 | 一文带你速读计算化学领域顶会论文

神经网络论文模型数据网络

作者：王可汗本文约1800字，建议阅读8分钟本文解读了机器学习在计算化学领域的最新研究，带你速读4篇相关领域的最新顶会论文。计算模拟和实验研究是当今研究化学，生物学和材料科学的两个重要手段。当前，以机器学习为代表的人工智能技术在科学计算领域潜力巨大，展示出旺盛的生命力和光明前景。本文解读了机器学习在计算化学领域的最新研究，带你速读4篇相关领域的最新顶会论文。 1. 论文题目：So3krates: Equivariant attention for interactions on arbitrary len

2023-04-25

2610

【2023新书】《ChatGPT在做什么…以及它为什么好使》

神经网络 chatgpt 编程模型系统

📷 来源：专知本文为书籍介绍，建议阅读5分钟沃尔夫勒姆不但讲清楚了GPT的底牌和命门，而且提出了一个可谓惊世骇俗的洞见。 📷 精英日课解读的2023年3月9日刚刚出版的新书《ChatGPT在做什么…以

2023-04-18

5390

大数据能力提升项目｜学生成果展系列之八

神经网络大数据论文数据统计

导读为了发挥清华大学多学科优势，搭建跨学科交叉融合平台，创新跨学科交叉培养模式，培养具有大数据思维和应用创新的“π”型人才，由清华大学研究生院、清华大学大数据研究中心及相关院系共同设计组织的“清华大学大数据能力提升项目”开始实施并深受校内师生的认可。项目通过整合建设课程模块，形成了大数据思维与技能、跨界学习、实操应用相结合的大数据课程体系和线上线下混合式教学模式，显著提升了学生大数据分析能力和创新应用能力。回首2022年，清华大学大数据能力提升项目取得了丰硕的成果，同学们将课程中学到的数据思维和技能成功

2023-04-18

1300

大数据能力提升项目｜学生成果展系列之七

机器学习神经网络大数据模型数据

导读为了发挥清华大学多学科优势，搭建跨学科交叉融合平台，创新跨学科交叉培养模式，培养具有大数据思维和应用创新的“π”型人才，由清华大学研究生院、清华大学大数据研究中心及相关院系共同设计组织的“清华大学大数据能力提升项目”开始实施并深受校内师生的认可。项目通过整合建设课程模块，形成了大数据思维与技能、跨界学习、实操应用相结合的大数据课程体系和线上线下混合式教学模式，显著提升了学生大数据分析能力和创新应用能力。回首2022年，清华大学大数据能力提升项目取得了丰硕的成果，同学们将课程中学到的数据思维和技能成功

2023-04-18

1830

理解并统一14种归因算法，让神经网络具有可解释性

神经网络集合数学算法网络

来源：机器之心本文约3500字，建议阅读10+分钟本文提出了统一解释 14 种输入单元重要性归因算法的内在机理，并提出评价归因算法可靠性的三大准则。尽管 DNN 在各种实际应用中取得了广泛的成功，但其过程通常被视为黑盒子，因为我们很难解释 DNN 如何做出决定。缺乏可解释性损害了 DNN 的可靠性，从而阻碍了它们在高风险任务中的广泛应用，例如自动驾驶和 AI 医疗。因此，可解释 DNN 引起了越来越多的关注。作为解释 DNN 的典型视角，归因方法旨在计算每个输入变量对网络输出的归因 / 重要性 / 贡献

2023-04-12

2680

微软提出自动化神经网络训练剪枝框架OTO，一站式获得高性能轻量化模型

神经网络框架模型算法压缩

来源：机器之心本文约2000字，建议阅读5分钟OTO 是业内首个自动化、一站式、用户友好且通用的神经网络训练与结构压缩框架。在人工智能时代，如何部署和维护神经网络是产品化的关键问题考虑到节省运算成本，同时尽可能小地损失模型性能，压缩神经网络成为了 DNN 产品化的关键之一。 DNN 压缩通常来说有三种方式，剪枝，知识蒸馏和量化。剪枝旨在识别并去除冗余结构，给 DNN 瘦身的同时尽可能地保持模型性能，是最为通用且有效的压缩方法。三种方法通常来讲可以相辅相成，共同作用来达到最佳的压缩效果。然而现存的剪枝

2023-04-05

1910

图神经网络的数学原理总结

神经网络测试函数连接网络

来源：深度学习基础与进阶本文约6500字，建议阅读13分钟本文将流行的图神经网络及其数学细微差别的进行详细的梳理和解释。图深度学习(Graph Deep Learning) 多年来一直在加速发展。许多现实生活问题使GDL成为万能工具：在社交媒体、药物发现、芯片植入、预测、生物信息学等方面都显示出了很大的前景。本文将流行的图神经网络及其数学细微差别的进行详细的梳理和解释，图深度学习背后的思想是学习具有节点和边的图的结构和空间特征，这些节点和边表示实体及其交互。图在我们进入图神经网络之前，让我们先

2023-04-03

6540

原创 | 让你捷足先登的深度学习框架

神经网络深度学习框架模型数据

本文介绍了几种非常有用的深度学习框架、它们的优点以及应用，通过对每个框架进行比较，研发人员了解如何有选择地使用它们，高效快捷完成项目任务。

2023-03-29

4890

90后斯坦福博士论文登Science封面！AI算法准确预测RNA三维结构

机器学习神经网络模型算法网络

来源：七月在线实验室本文约1200字，建议阅读5分钟本文介绍了Science 封面的这项研究的最新成果，利用目前先进的神经网络技术，成功开发出了一种全新 RNA 三维结构预测模型——ARES。前言：半个世纪以来，确定RNA三维结构一直困惑着科学家，也成为生物学的重大挑战之一。而现在，90后斯坦福大学博士和团队通过新型AI算法——ARES准确预测出RNA三维结构，堪比AlphaFold，是生物界海啸级存在！我们对大部分RNA的结构几乎一无所知。半个世纪以来，确定生物分子的三维结构一直困惑着科学家，

2023-03-29

2390

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态