生成性AI资源列表：5000种模型、工具、技术、应用与提示

生成性AI资源精选列表 — genAI职位、新模型、AI代理

这只庞然大物被称为生成性AI（图片来源：Maximilian Vogel，使用Midjourney）

对于模型来说，这是一个轻柔的低语；而对于人类而言，则是一次轰鸣的唤醒呼喊：2022年11月30日，发布的ChatGPT首次响应就向所有人表明了一个事实：生成性AI已经到来！而且它将改变一切。

稍微有些延迟的是，这一变革也开始影响到就业市场：从起步阶段的极低水平开始，生成性AI的职位发布正在呈指数增长，而被生成性AI取代的职位需求却越来越少。

左：被生成性AI取代的工作 右：生成性AI工作岗位发布，图片来源：HBR, indeed

让我们深入探索生成性AI的狂野世界。本文章的每一部分都包括对话题的讨论和精选资源列表，有时还包含更多资源列表的网站：

•20+：什么是生成性AI？•95x：生成性AI的历史•600+：关键技术概念•2,350+：模型与媒介 — 文本、图像、视频、声音、代码等•350x：应用领域、公司、初创公司•3,000+：提示词、提示工程与提示词列表•250+：硬件、框架、方法、工具与数据•300+：成就、对社会的影响、AI监管与展望

20+：什么是生成性AI？

让我们玩个比较游戏。如果经典的AI是一只聪明的猫头鹰，那么生成性AI就是那只更聪明的猫头鹰，手持画笔并擅长写作。传统AI可以识别、分类和聚类，但无法生成它所训练的数据。而经典的AI模型通常专注于单一任务。与此不同，生成性AI模型则在大量来自各个领域的数据上进行预训练。它们能够积累通用知识，并利用这些知识生成几乎任何媒介（文本、图像、声音或其他）的输出。

传统计算 vs. 传统AI vs. 生成性AI（图片来源：Maximilian Vogel）

•1x: Monit Sharma 介绍生成性AI[1]•20+：生成性AI介绍与学习之旅资源[2]

95x 生成性AI历史

生成性AI拥有悠久的历史，早期的理论可以追溯到莱布尼茨[3]、帕斯卡、巴贝奇、洛夫莱斯等人。这些理论甚至比所谓的自动机[4]（各种类型的机器人和计算机）更早出现（如严师、凯特比乌斯、亚历山大的赫伦、班努·穆萨兄弟[5]、伊斯梅尔·贾扎里等）。

数学基础的奠定始于1940年代和1950年代（香农[6]、图灵、冯·诺依曼、维纳）。今天的生成性语言模型基础在1990年代被详细阐述（LSTM[7]，霍赫赖特，施密德霍伯），整个领域在2018年左右迎来爆发（拉德福德[8]，德夫林等）。近年来的重大里程碑包括BERT[9]（谷歌，2018年）、GPT-3（OpenAI，2020年）、Dall-E[10]（OpenAI，2021年）、Stable Diffusion[11]（Stability AI，慕尼黑大学，2022年）、ChatGPT（OpenAI，2022年）、Mixtral[12]（Mistral，2023年），这是一种专家混合型的LLM。

•1x: 生成性AI的演变[13]•1x: 生成性AI时间线[14]•1x: 激动人心、令人惊叹，有时还有点让人毛骨悚然：LLMs的早期前身[15]•2x: AI时间线[16]，以及一些引人注目的数据可视化[17]•90+：当前和过去的著名AI项目[18]

大型语言模型的进化树：从Word2Vec到GPT-4。图片来源：Yang, Jingfeng等

600+：生成性AI的关键技术概念

300+：深度学习 — 任何生成性AI模型的核心

深度学习是传统AI中的一个核心概念，并已在生成性AI中被采用并进一步发展。复杂的机器学习问题只有通过具有多个层次的神经网络才能解决。顺便说一下，这一原理同样适用于认知过程和哺乳动物的大脑（是的，这也包括我们人类）。

深度学习神经网络。图片来源（CC）：BrunelloN

在人工神经网络中，一个节点代表一个神经元，而节点之间的连接则是突触，负责单向传输信息。生成性AI模型通常具有数百万个神经元和数十亿个突触（也就是“参数”）。目前的模型并没有使用由硅构建的神经元，而是使用传统的计算算法和更多或更少的传统硬件（有时是CPU，通常是GPU/TPU）。在代码中，整个深度学习网络被表示为一个权重矩阵。而——是的，我试图最终揭开生成性AI的神秘面纱——在像ChatGPT这样的神奇模型中，学习和答案生成最终都可以归结为矩阵乘法[19]——就是我们高中时学的代数。只不过是更多的矩阵乘法，以闪电般的速度执行。

矩阵乘法（图片来源：Maximilian Vogel）

深度学习和神经网络技术的更多内容：

•7x：最佳机器学习课程[20]•300+：深度学习资源[21]：书籍、课程、讲座、论文、数据集、会议、框架、工具，由Christos Christofidis提供

200+：基础模型、预训练、微调与提示工程

生成性AI基于基础模型。基础模型是巨大的模型（数十亿个参数），在庞大的数据集（GB或TB级的数据）上进行预训练，并能够在其领域（文本或图像生成）内执行无限数量的任务。预训练数据集通常包含该领域的所有类型的数据。例如，文本数据包括：科学论文、俳句、电子表格、百科全书内容、对话、法律、手册、发票、剧本、教科书或小说。预训练的模型可以比作一个超聪明、知识渊博的高中毕业生，拥有大量基础知识和理解多种语言的能力，但并没有特定的工作资格。为了将模型准备好执行特定的任务，比如为特定产品的支持热线回答问题，你可以使用微调：用一个小数据集对特定任务进行额外训练。更常见的做法是，通过提示词来指定任务，提供任务数据，并格式化响应。

大型语言模型的预训练、微调和提示工程。微调对于许多任务可以跳过；预训练和提示工程是必须的。

•1x: 赋能语言模型：预训练、微调与上下文学习[22]•1x: Grant Sanderson（3Blue1Brown）的GPT（通用预训练变换器）技术视频介绍[23]•1x: Yash Bhaskar深入探讨大型语言模型的预训练[24]•1x: 教程：使用代码示例对大型语言模型进行微调[25]

•200+：精选微调资源列表[26]

（稍后将在本文中提供提示工程的资源）

120+：令牌、嵌入与向量

ChatGPT 是“字母盲”

哦，这不对；它包含89个字符（包括空格和标点符号），而不是83个。为什么地球上最聪明的机器人在这个简单的计数任务上会失败？一个七岁的孩子能做得更好！

ChatGPT，像其他任何语言模型一样，并不理解语言、文本或字符。ChatGPT模型甚至无法看到我的提示：

首先，提示被分割成（“标记化”）这19个标记：

标记化：每个彩色矩形代表一个标记。

常见的英文单词不被拆分，它们是单一标记。不常见的单词（例如“ChatGPT”在ChatGPT发布之前并不常见）和拼写错误的单词（例如“inlcuding”）由两个或更多的标记组成。

每个模型使用固定的标记词汇表。然后每个标记被转换成嵌入（高维向量，通常有1000多个维度），在模型可以看到它之前，嵌入表示了标记的语义值。对于语义相似的标记，如“king”，“queen”和“prince”，它们的向量应该是接近的。拼写相似的标记，如“prince”，“price”和“prance”，如果没有语义相似性，则不会接近。嵌入是基于文本中词或标记的邻居自动生成的，而不是由人类对词义的解释来生成的。因此，“king”可能既接近“throne”，也接近“checkmate”，基于这些在英文文本中的上下文。当提示被转换为嵌入序列（表示标记的高维向量）后，这些嵌入会被输入到语言模型中，然后进行处理。

词语、向量与嵌入。这是一个低维向量的可视化。实际上，LLMs中的向量包含数百个维度。对于普通人来说，这几乎是难以想象的。来源（CC）：https://doi.org/10.1371/journal.pone.0231189.g008

模型并不会生成这些嵌入的完整答案。不，不，不！它只生成（用机器学习术语来说是“预测”）下一个标记。之后，它会使用提示的嵌入和第一个预测的标记，预测它答案中的第二个标记……依此类推。

大型语言模型逐个生成响应标记。对于模型来说，之前生成的标记与最初的用户输入没有什么不同；它们都只是下一个生成步骤的输入。（图片来源：Maximilian Vogel）

在标记逐个生成的过程中，模型通常并不知道（也不需要知道）它自己在文本持续流动中的贡献究竟从哪里开始。在我看来，这是LLM技术中最奇怪的特点之一。

更多关于标记、嵌入的内容：

•1x：词嵌入教程[27]•1x：由Bea Stollnitz解释的标记化和标记生成[28]•1x：由Vijayarajan Alagumalai深入探讨LLM架构，特别关注标记和嵌入[29]•1x：由James Briggs解释的稠密、稀疏向量与嵌入的代码示例[30]•120+：嵌入的对比，MTEB[31]

10+：变换器架构

几乎所有相关的语言模型都基于一种叫做“变换器架构”的技术。对于我来说，如果能在这里讨论它，那将是极大的荣幸，甚至更大的乐趣。不幸的是，任何试图描述它的努力都超出了这篇生成性AI介绍的范围。

•1x：变换器模型的关键区分因素[32]：注意力机制。非常棘手，非常清晰地由Grant Sanderson（3Blue1Brown）解释•10x：我推荐Giuliano Giacaglia精彩插图的语言生成概念介绍[33]（从RNN到LSTM到所有变换器架构中的概念），适合任何不害怕小小复杂性的读者•1x：这是Google团队介绍变换器概念的原始论文[34] — 带着敬畏读它•50x：学习变换器的资源[35]

10x：图像生成技术：潜在扩散模型/稳定扩散

潜在扩散模型（LDMs）如稳定扩散[36]与大型语言模型的工作原理不同。它从训练开始：虽然LLMs在无标签数据上进行训练，LDMs则在文本/图像对上进行训练。这使得图像生成模型能够通过文本提示进行生成。

LDMs并不直接处理广阔的图像空间数据，而是首先将图像压缩到一个更小但感知上等效的空间，这使得模型更快且更高效。

潜在扩散管道架构，图片来源：Rombach等

图像生成过程是反直觉的。它并不是真正地绘制视觉图像，而是从模型用作起点的随机像素分布中去除噪声。这个过程就像雕塑家雕刻大卫像一样 — 去除所有多余的大理石，最终呈现出大卫像的形态。

去噪过程以雕刻出图像，图片来源（CC）：Benlisquare

更多细节：

•1x：潜在扩散模型[37]•1x：Rombach等：使用潜在扩散模型进行高分辨率图像合成[38]•1x：Ho等：去噪扩散概率模型[39]•30x：扩散模型：图像、音频、语言、时间序列、图形[40]

2350+：模型 — 文本、图像、视频、声音、代码等更多内容

1200+：文本 — 大型语言模型

毫无疑问，语言是生成性AI最重要的应用领域。大型语言模型（LLMs）是每个AI代理应用的核心。

这些是最重要的LLMs：

•4x OpenAI: o1[41]: GPT内置推理链（CoT）。GPT-4o：OpenAI提高了质量，速度翻倍，价格减半。GPT-4-turbo，GPT-3.5-turbo，ChatGPT•1x Mistral: Mixtral 8x7B[42] — 一款高性能的小型模型，采用专家混合架构。来自巴黎，所有模型[43]。•3x：Anthropic: Claude 3模型家族[44] — 目前最好的模型之一：•2x Meta: Llama 3.1[45], Llama 2, Llama — 尺寸不大（按参数衡量），但性能强劲且开源。•2x Google: Gemini[46], Palm 2[47]•1x TII（阿布扎比）：Falcon 180B[48]•Bloom: Bloomz[49], Bloom-Lora•1x Aleph Alpha: Pharia AI[50]•1x Baidu: Ernie Bot[51] — 中国的ChatGPT替代品，注册用户超过1亿。•5x Amazon: Titan模型[52]

更多、更精彩的LLMs：

•100+：Hannibal046列出的主要开源LLM列表[53]•100+：斯坦福大学的HELM模型列表[54]•1000+：当前和历史上的LLMs的图形概览[55]（目前离线）

120+：图像生成模型与工具

或许不是生成性AI最重要的领域，但肯定是最迷人的领域。

Midjourney 提示词：一只戴着棕色帽、拥有大眼睛的令人印象深刻的熊猫，作为一名魔法图书管理员坐在一张巨大的桌子前，桌上摆着卡片盒。桌旁和背后堆放着一叠叠的书籍和卷轴。温暖的橙色光线透过大窗户洒进来。空气中飞舞着蝴蝶。照片般真实，电影感的光线，精致的细节。以重金属幻想漫画风格呈现。超高清，32k。

•5x: CompVis / Stability.ai: 稳定扩散1[56]，稳定扩散2.1[57] — 顶级开源模型•1x: Midjourney — 我爱它！•1x: OpenAI: DALL-e 3 — 也太棒了！•1x: Ideogram[58] — 精确文本的AI图像生成器•1x: Black Forest Labs[59] — Flux 1.1 PRO — 稳定扩散替代品•1x: Adobe Firefly — AI图像生成器[60]，用于将AI生成的图像集成到照片中•1x GenAI by Getty Images[61]•14x: 由Vinnie Wong测试过的图像创作模型精选列表，使用相同提示词[62]•100+: 图像创作模型和工具列表[63]

15x: 代码生成模型与工具

代码生成工具支持开发者编写、调试和记录代码，并可集成到IDE或其他开发工具中。

•1x: GitHub: CoPilot[64] — 最广泛采用的代码生成模型•1x: OpenAI: Codex[65] — CoPilot背后的模型•1x: Tabnine[66] — 开源AI代码生成•1x: Salesforce: CodeT5[67] — 开源，且阅读这里[68]了解如何微调它•1x: Meta: Code Llama[69] 基于Llama 2•1x: Google: Codey[70] — 生成、补全与代码聊天•10x: Tracy Phillips的AI代码生成模型[71]

17+: 语音识别（STT / ASR），语音生成（TTS）模型

现在有用于两种转化过程的模型：语音转文本和文本转语音。

•1x: OpenAI: Whisper[72] — ASR领域最早的巨大基础模型之一•1x: RevAI ASR[73] — 最准确的ASR•1x: Google现在也加入了比赛，推出了Chirp[74] ASR•3x: 最佳开源语音识别模型比较[75]•1x: Meta: Voicebox[76]语音生成器（开源）•10x: 最佳AI语音生成器[77]

15x: 音乐生成模型与工具

用十个单词的提示词创作一首歌，真是乐趣无穷！

•1x: Harmonai[78] — 由社区驱动的开源生产工具•1x: Mubert[79] — 一个免版税的音乐生态系统•1x: MusicLM[80] — 谷歌研究推出的通过文本描述生成高保真音乐的模型•1x: Aiva[81] — 在250种风格中生成歌曲•1x: Suno — 我大约用了50秒钟注册、写下提示词并创作出了我的第一首辉煌的电梯音乐作品•10x: 最佳AI音乐生成器[82]

18x: 视频生成（文本到视频模型）

与图像生成类似，视频生成通常基于扩散/潜在扩散模型：

•1x: OpenAI: Sora[83]，许多第一批评审员在体验该模型的能力时出现了轻微的外突眼症•1x: Google: 从文本生成的Imagen[84]视频•1x: Synthesia[85] — 几秒钟内生成视频•1x: DeepBrain AI: 创建视频甚至是创建视频的脚本•5x: Artturi Jalli比较的视频创作AI[86]•10x: 还有更多模型[87]

7x: 其他生成性AI模型

生成性AI可以应用于完全不同的领域，只要存在类似结构化的内容格式（如图像和文本）以及一个可以用于预训练的庞大数据库。

•1x: 机器人控制。Google: RT-2存储库[88]•2x: 分子折叠预测：AlphaFold[89]。超级有趣，这里基础模型和生成性AI方法被应用于一个完全不同的领域，与媒体内容（如语言或图像）几乎没有交集。一个应用于药物创制的初创公司：Absci[90]•1x: 基因组学：通过适应大型语言模型[91]（LLMs）用于基因组数据，构建基因组规模的语言模型（GenSLMs）•1x: Llemma[92] — 一个数学开放语言模型•1x: AstroLLaMA[93] — 天文学的基础模型•1x: 抗生素：用于设计和验证易于合成的结构新型抗生素的生成性AI[94]

1000+: GPT商店：

GPT商店[95]是OpenAI的应用商店。它托管了基于GPT-4和Dall-E的成千上万个定制GPT：从个人提示工程工具到日程安排助手、演示和标志设计、任务管理、逐步技术故障排除、网站创建和托管、AI洞察生成、解释棋盘和卡片游戏、数字视觉绘画、基于文本的冒险游戏等。 GPT商店的访问权限仅限于ChatGPT Plus用户（大约每月$20）。 您可以创建自己的GPT并提供给其他用户。

OpenAI GPT商店

10x: 自主代理AI

代理AI是让AI在企业中真正高效的关键技术。代理能够独立完成大型复杂任务。与传统AI帮助员工完成工作不同，AI代理实际上是完全成熟的员工，具有巨大的流程自动化潜力。

通常，它们使用大型语言模型来规划任务执行并将其分解为简单步骤。

传统AI vs AI代理，图片来源：Maximilian Vogel

资源：

•1x: 什么是AI代理？简短介绍以及逐步指导如何构建自己的AI代理。•5x: 在代理框架之间的选择

代理框架：

•1x: LangChains LangGraph框架[96]•1x: CrewAI（多代理平台）•1x: LlamaIndex工作流[97]•1x: Haystack的代理[98]

350x: 应用领域、公司、初创公司

生成性AI初创公司如雨后春笋般涌现，许多成熟的公司也在这一领域开发工具和应用。感谢所有为绘制这一领域图谱的人们。

150+: Sequoia的市场图谱[99]，按目标群体和应用领域划分：

图片来源：红杉资本

•8x: 生成性AI市场图谱、景观、比较与时间线[100]•100x: YCombinator精选生成性AI初创公司列表[101]•100x: 生成性AI应用领域，从审计报告到编写产品描述[102]

3000+: 提示词、提示工程与提示词列表

提示词是控制模型行为的工具。用户可以提供所需输出的描述，以提示大多数模型，包括生成图像、视频或音乐的模型。

提示词（你 = 我）和通过推理生成的响应（ChatGPT）

提示词可以远远不止是一个指令或问题。它们可以包含：

•几个示例（展示模型如何生成输出）•数据（模型应使用这些数据生成输出）•对话历史（用于多轮对话）•输出格式的精确定义•以及更多内容

提示工程是生成安全、精确、成功、高效且稳健提示词的艺术。

提示工程备忘单中的Automat框架（图片来源：Maximilian Vogel）

1x: 免费提示工程课程[103] 10x: 最佳提示工程课程概述[104] 1x: 提示工程备忘单[105] 40+: 提示工程指南[106]，包含大量单独的主题 100+: 超棒的ChatGPT提示词[107]，这些提示词也可以用于其他模型 3000+: ChatGPT提示词列表，包含数十个提示词列表和成千上万个提示词[108]

250+: 硬件、框架、方法、工具与数据

生成性AI模型庞大（需要大量内存），并且需要大量处理器资源（训练时执行大量的浮点运算，单次推理仍然需要大量计算）。因此，硬件在生成性AI中具有变革性作用：

•1x: 硬件：生成性AI硬件简介[109]•15x: 深度学习硬件概述，包含其他资源链接[110]•100x: 处理单元资源[111] — CPU、GPU、APU、TPU、VPU、FPGA、QPU•1x: 对一些人来说，语言处理单元（LPU）已成为AI硬件的最新热潮：在LLM标记预测中比GPU/TPU快10倍：阅读Groq的LPU推理引擎[112]并进行测试[113]。•3x: 生成性AI框架，促进基于语言和其他模型的应用开发：LangChain, Llamaindex, La与Lla比较[114]

LangChain生态系统，图片来源：langchain文档

1x: RAG — 检索增强生成是让LLM与您的数据一起运行的关键方法：简介[115]

10+: 向量数据库存储您的数据并使其可检索：向量数据库简介及前6个数据库[116]，及其他一些[117]

5x: 提供模型、资源以使用和操作它们的平台：HuggingFace, Haystack, Azure AI, Google, Amazon Bedrock

150+: 生成性AI工具、框架和其他内容的更多资源[118]

300+: 生成性AI成就、安全与隐私、对社会的影响、AI监管与展望

40+: 成就

生成性AI模型 — 主要是OpenAI的模型 — 参加了律师资格考试[119]、医学执照考试[120]、语言智力测试[121]（IQ 147）、SAT大学准备测试[122]以及更多的考试和测验。

•30x: ChatGPT/GPT-4成就列表[123]•10x: 这里[124]还有更多生成性AI通过的测试以及失败的案例

200+: AI安全、隐私、AI TRiSM、可解释性、幻觉控制

AI TRiSM代表信任、风险与安全管理，包括以下领域：

•幻觉控制[125]•安全与保密•透明度与可解释性（XAI）•责任•风险管理（AI风险 = 可能性 x 潜在影响）•公平性（及偏见）•对齐•隐私

更多资源：

•1x: OWASP AI安全与隐私指南[126]•5+: Jiadong Chen提供的AI安全指南[127]•200+: 更多关于AI安全的资源[128]

25+: 对社会的影响

生成性AI将在不同层次和不同时间尺度上对我们的社会产生深远影响。通常，我们倾向于高估新技术的短期影响，而低估其长期影响[129]。

•1x: 生成性AI对宏观、微观和中观层面的影响[130]•1x: 关于生成性AI对社会系统影响的全面论文[131]•1x: 国际劳工组织（ILO）关于生成性AI如何影响就业质量和数量•6x: AI对人类长期影响•15x: 灾难性的AI风险•2x: 超智能以及我们为什么应该并如何确保未来的AI与人类的目标保持一致[132]

50+: AI监管

AI监管是必不可少的，不仅是为了界定在新的应用领域中什么是被允许的、允许谁从哪些知识产权中获利以及如何获利，还需要明确谁对错误和损害负责。随着《AI法案》草案的出台，欧盟开始了对最严AI监管的竞争。许多业内人士希望其他立法能够采取更为谨慎的态度，并确保与当前技术（如生成性AI）保持适应性。原则上，欧盟已经发布了一个主要涉及预生成模型能力的监管框架。

1x: 展望与结语：

几乎没有人（可能连OpenAI的人也没有预料到）能预测生成性AI会在2023年爆发，因此很难预测它将在2024年及未来几年如何发展。ZDNet的Vala Afshar做得非常出色。对进入未知领域的最佳展望就是展望的汇编：对IDC、Gartner、Forrester等领先科技预言家的期待进行了精彩概述[133]：半衰期？一年？几个月？还是几周内，一个突破性的进展将我们再次引导到新的轨道。

我很高兴能和你一起走这段旅程！希望你能从我的文章中获得一些收获。祝你在AI领域获得更多洞察，并取得巨大的成功！

更多信息

山行AI希望本文对你有所帮助，感谢Maximilian Vogel，更多内容请查看：https://medium.com/@maximilian.vogel/5000x-generative-ai-intro-overview-models-prompts-technology-tools-comparisons-the-best-a4af95874e94，感谢点赞、转发、评论！

References

[1] Monit Sharma 介绍生成性AI:https://medium.com/@_monitsharma/introduction-to-generative-ai-bc62dfb963c5 [2]生成性AI介绍与学习之旅资源:https://www.diverse-ai.org/generative-ai-learning-journey [3]莱布尼茨:https://www.atariarchives.org/deli/computer_eccentrics.php [4]自动机:https://en.wikipedia.org/wiki/Automaton#Ancient [5]班努·穆萨兄弟:https://en.wikipedia.org/wiki/Ban%C5%AB_M%C5%ABs%C4%81_brothers [6]香农:https://en.wikipedia.org/wiki/Claude_Shannon [7]LSTM:https://en.wikipedia.org/wiki/Long_short-term_memory [8]拉德福德:https://www.semanticscholar.org/paper/Language-Models-are-Unsupervised-Multitask-Learners-Radford-Wu/9405cc0d6169988371b2755e573cc28650d14dfe [9]BERT:https://huggingface.co/blog/bert-101 [10]Dall-E:https://openai.com/index/dall-e/ [11]Stable Diffusion:https://huggingface.co/spaces/stabilityai/stable-diffusion [12]Mixtral:https://mistral.ai/news/mixtral-of-experts [13]生成性AI的演变:https://www.linkedin.com/pulse/brief-history-time-decoding-evolution-generative-ai-csmtechnologies/ [14]生成性AI时间线:https://businessmanagementblog.com/history-of-generative-ai/ [15]激动人心、令人惊叹，有时还有点让人毛骨悚然：LLMs的早期前身:https://bootcampai.medium.com/history-of-llms-c187e21dfeaa [16]AI时间线:https://en.wikipedia.org/wiki/Timeline_of_artificial_intelligence [17]一些引人注目的数据可视化:https://ourworldindata.org/brief-history-of-ai [18]当前和过去的著名AI项目:https://en.wikipedia.org/wiki/List_of_artificial_intelligence_projects [19]矩阵乘法:https://www.mathsisfun.com/algebra/matrix-multiplying.html [20]最佳机器学习课程:https://www.learndatasci.com/best-machine-learning-courses/ [21]深度学习资源:https://github.com/ChristosChristofidis/awesome-deep-learning [22]赋能语言模型：预训练、微调与上下文学习:https://medium.com/@bijit211987/the-evolution-of-language-models-pre-training-fine-tuning-and-in-context-learning-b63d4c161e49 [23]Grant Sanderson（3Blue1Brown）的GPT（通用预训练变换器）技术视频介绍:https://www.youtube.com/watch?v=wjZofJX0v4M [24]Yash Bhaskar深入探讨大型语言模型的预训练:https://www.youtube.com/watch?v=wjZofJX0v4M [25]使用代码示例对大型语言模型进行微调:https://medium.com/@yash9439/introduction-to-llms-and-the-generative-ai-part-2-llm-pre-training-and-scaling-laws-71e06c83998b [26]精选微调资源列表:https://github.com/mmarius/awesome-finetuning [27]词嵌入教程:https://www.cs.cmu.edu/~dst/WordEmbeddingDemo/tutorial.html [28]由Bea Stollnitz解释的标记化和标记生成:https://bea.stollnitz.com/blog/how-gpt-works/ [29]由Vijayarajan Alagumalai深入探讨LLM架构，特别关注标记和嵌入:https://www.linkedin.com/pulse/demystifying-architecture-chatgpt-deep-dive-vijayarajan-a/ [30]由James Briggs解释的稠密、稀疏向量与嵌入的代码示例:https://towardsdatascience.com/dense-vectors-capturing-meaning-with-code-88fc18bd94b9 [31]嵌入的对比，MTEB:https://huggingface.co/spaces/mteb/leaderboard [32]变换器模型的关键区分因素:https://www.youtube.com/watch?v=eMlx5fFNoYc [33]我推荐Giuliano Giacaglia精彩插图的语言生成概念介绍:https://towardsdatascience.com/transformers-explained-visually-part-1-overview-of-functionality-95a6dd460452/ [34]这是Google团队介绍变换器概念的原始论文:https://arxiv.org/pdf/1706.03762 [35]学习变换器的资源:https://github.com/sannykim/transformer [36]稳定扩散:https://huggingface.co/spaces/stabilityai/stable-diffusion [37]潜在扩散模型:https://sertiscorp.medium.com/latent-diffusion-models-a-review-part-i-d0feacc4906 [38]Rombach等：使用潜在扩散模型进行高分辨率图像合成:https://arxiv.org/pdf/2112.10752 [39]Ho等：去噪扩散概率模型:https://arxiv.org/pdf/2006.11239 [40]扩散模型：图像、音频、语言、时间序列、图形:https://github.com/diff-usion/Awesome-Diffusion-Models [41]o1:https://openai.com/o1/ [42]Mixtral 8x7B:https://mistral.ai/news/mixtral-of-experts [43]所有模型:https://mistral.ai/news/september-24-release [44]Claude 3模型家族:https://www.anthropic.com/news/3-5-models-and-computer-use [45]Llama 3.1:https://ai.meta.com/blog/meta-llama-3-1/ [46]Gemini:https://deepmind.google/models/gemini/ [47]Palm 2:https://blog.google/technology/ai/google-palm-2-ai-large-language-model/ [48]Falcon 180B:https://falconllm.tii.ae/ [49]Bloomz:https://research.baidu.com/Blog/index-view?id=183 [50]Pharia AI:https://aleph-alpha.com/de/aleph-alpha-stellt-phariaai-vor-ein-souveranes-betriebssystem-fur-generative-ki-anwendungen-in-unternehmen-und-der-verwaltung-das-erklarbarkeit-und-compliance-verbindet/ [51]Ernie Bot:https://research.baidu.com/Blog/index-view?id=183 [52]Titan模型:https://aws.amazon.com/cn/ai/generative-ai/nova/ [53]Hannibal046列出的主要开源LLM列表:https://github.com/Hannibal046/Awesome-LLM [54]斯坦福大学的HELM模型列表:https://crfm.stanford.edu/helm/lite/latest/#/models [55]当前和历史上的LLMs的图形概览:https://huggingface.co/spaces/gaodrew/constellation [56]稳定扩散1:https://huggingface.co/CompVis/stable-diffusion [57]稳定扩散2.1:https://huggingface.co/spaces/stabilityai/stable-diffusion [58]Ideogram:https://ideogram.ai/login [59]Black Forest Labs:https://bfl.ai/models/flux-kontext [60]Adobe Firefly — AI图像生成器:https://www.adobe.com/products/firefly/features/text-to-image.html# [61]GenAI by Getty Images:https://www.gettyimages.de/ai [62]由Vinnie Wong测试过的图像创作模型精选列表，使用相同提示词:https://piktochart.com/blog/best-ai-image-generators/ [63]图像创作模型和工具列表:https://ai4k.eu/content/ai-image-generators-list/ [64]CoPilot:https://github.com/features/copilot [65]Codex:https://openai.com/index/openai-codex/ [66]Tabnine:https://www.tabnine.com/ [67]CodeT5:https://github.com/salesforce/CodeT5 [68]这里:https://towardsdatascience.com/beyond-codex-a-code-generation-model-that-you-can-train-6ac9bdcba07f [69]Code Llama:https://ai.meta.com/blog/code-llama-large-language-model-coding/ [70]Codey:https://cloud.google.com/vertex-ai/generative-ai/docs/code/code-models-overview?hl=zh-cn [71]Tracy Phillips的AI代码生成模型:https://codesubmit.io/blog/ai-code-tools/ [72]Whisper:https://openai.com/index/whisper/ [73]RevAI ASR:https://www.rev.ai/ [74]Chirp:https://cloud.google.com/speech-to-text/v2/docs/chirp-model?hl=zh-cn [75]最佳开源语音识别模型比较:https://deepgram.com/learn/benchmarking-top-open-source-speech-models#whisper-mediumen [76]Voicebox:https://ai.meta.com/blog/voicebox-generative-ai-model-speech/ [77]最佳AI语音生成器:https://www.unite.ai/voice-generators/ [78]Harmonai:https://www.harmonai.org/ [79]Mubert:https://mubert.com/ [80]MusicLM:https://google-research.github.io/seanet/musiclm/examples/ [81]Aiva:https://www.aiva.ai/ [82]最佳AI音乐生成器:https://blog.limewire.com/best-ai-music-generators/ [83]Sora:https://openai.com/sora/ [84]Imagen:https://imagen.research.google/video/ [85]Synthesia:https://www.synthesia.io/ [86]Artturi Jalli比较的视频创作AI:https://medium.com/@artturi-jalli/ai-video-generators-14312e5bcb62 [87]还有更多模型:https://medium.com/@arbehi/10-best-ai-video-generators-36e3da4f3d61 [88]RT-2存储库:https://robotics-transformer2.github.io/ [89]AlphaFold:https://alphafold.ebi.ac.uk/ [90]Absci:https://www.absci.com/technology/ [91]大型语言模型:https://www.biorxiv.org/content/10.1101/2022.10.10.511571v2 [92]Llemma:https://arxiv.org/abs/2310.10631 [93]AstroLLaMA:https://arxiv.org/abs/2309.06126 [94]用于设计和验证易于合成的结构新型抗生素的生成性AI:https://openreview.net/forum?id=CKCNCW9wxB [95]GPT商店:https://openai.com/index/introducing-the-gpt-store/ [96]LangChains LangGraph框架:https://www.langchain.com/langgraph [97]LlamaIndex工作流:https://docs.llamaindex.ai/en/stable/module_guides/workflow/ [98]Haystack的代理:https://haystack.deepset.ai/blog/introducing-haystack-agents [99]Sequoia的市场图谱:https://www.sequoiacap.com/article/generative-ai-act-two/ [100]生成性AI市场图谱、景观、比较与时间线:https://www.linkedin.com/pulse/generative-ai-market-maps-landscapes-comparisons-timelines-vogel-eyree/ [101]YCombinator精选生成性AI初创公司列表:https://www.ycombinator.com/companies/industry/generative-ai [102]生成性AI应用领域，从审计报告到编写产品描述:https://research.aimultiple.com/generative-ai-applications/ [103]免费提示工程课程:https://medium.com/mlearning-ai/i-scanned-1000-prompts-so-you-dont-have-to-10-need-to-know-techniques-a77bcd074d97 [104]最佳提示工程课程概述:https://medium.com/mlearning-ai/i-scanned-1000-prompts-so-you-dont-have-to-10-need-to-know-techniques-a77bcd074d97 [105]提示工程备忘单:v [106]提示工程指南:https://github.com/dair-ai/Prompt-Engineering-Guide [107]超棒的ChatGPT提示词:https://github.com/f/awesome-chatgpt-prompts [108]ChatGPT提示词列表，包含数十个提示词列表和成千上万个提示词:https://medium.com/mlearning-ai/the-chatgpt-list-of-lists-a-collection-of-1500-useful-mind-blowing-and-strange-use-cases-8b14c35eb [109]生成性AI硬件简介:https://www.allaboutcircuits.com/industry-articles/understanding-the-compute-hardware-behind-generative-ai/ [110]深度学习硬件概述，包含其他资源链接:https://www.openmlguide.org/ai-portal-gun/deep-learning/hardware/ [111]处理单元资源:https://primo.ai/index.php?title=Processing_Units_-_CPU%2C_GPU%2C_APU%2C_TPU%2C_VPU%2C_FPGA%2C_QPU [112]阅读Groq的LPU推理引擎:https://groq.com/groq-sets-new-large-language-model-performance-record-of-300-tokens-per-second-per-user-on-meta-ai-foundational-llm-llama-2-70b/ [113]测试:https://groq.com/ [114]La与Lla比较:https://medium.com/@zahidali133/comparison-of-llamaindex-and-langchain-4900989752ac [115]简介:https://wandb.ai/cosmo3769/RAG/reports/A-Gentle-Introduction-to-Retrieval-Augmented-Generation-RAG---Vmlldzo1MjM4Mjk1 [116]向量数据库简介及前6个数据库:https://medium.com/@tenyks_blogger/vector-databases-unlock-the-potential-of-your-data-5bd4950bd72 [117]其他一些:https://github.com/mileszim/awesome-vector-database [118]生成性AI工具、框架和其他内容的更多资源:https://github.com/steven2358/awesome-generative-ai [119]律师资格考试:v [120]医学执照考试:https://www.techtarget.com/healthtechanalytics/news/366590424/ChatGPT-Passes-US-Medical-Licensing-Exam-Without-Clinician-Input [121]语言智力测试:https://davidrozado.substack.com/p/what-is-the-iq-of-chatgpt [122]SAT大学准备测试:https://cdn.openai.com/papers/gpt-4.pdf [123]ChatGPT/GPT-4成就列表:https://docs.google.com/spreadsheets/u/0/d/1O5KVQW1Hx5ZAkcg8AIRjbQLQzx2wVaLl0SqUu-ir9Fs/edit?pli=1&authuser=0#gid=1264523637 [124]这里:https://www.businessinsider.com/list-here-are-the-exams-chatgpt-has-passed-so-far-2023-1#while-chatgpt-has-generated-convincing-essays-on-occasion-its-also-raised-eyebrows-for-spewing-out-well-written-misinformation-11 [125]幻觉控制:https://www.ibm.com/think/topics/ai-hallucinations [126]OWASP AI安全与隐私指南:https://owasp.org/www-project-ai-security-and-privacy-guide/ [127]Jiadong Chen提供的AI安全指南:https://medium.com/@jiadong-chen/dive-into-ai-security-8ca3103aaf21 [128]更多关于AI安全的资源:https://github.com/ottosulin/awesome-ai-security [129]我们倾向于高估新技术的短期影响，而低估其长期影响:https://deviq.com/laws/amaras-law/ [130]生成性AI对宏观、微观和中观层面的影响:https://www.sciencedirect.com/science/article/pii/S0160791X2300177X [131]关于生成性AI对社会系统影响的全面论文:https://arxiv.org/pdf/2306.05949 [132]人类的目标保持一致:https://www.lesswrong.com/posts/menRJyuyc5yzGdTGf/the-genie-in-the-bottle-an-introduction-to-ai-alignment-and [133]精彩概述: https://www.zdnet.com/article/the-future-of-generative-ai-heres-what-technology-analysts-are-saying/