---- 新智元报道 编辑：好困 【新智元导读】清华&字节联合提出的DA-Transformer摆脱了传统并行模型依赖知识蒸馏的问题，在翻译任务中大幅超越了之前所有并行生成模型，最高提升 4.57 BLEU。同时也首次达到、甚至超越了自回归 Transformer 的性能，在最高提升 0.6 BLEU 的同时，能够降低7倍的解码延迟。｜还在纠结会不会错过元宇宙和web3浪潮？清华大学科学史系副教授胡翌霖，这次给你讲个透！ 并行文本生成模型（非自回归模型）是一种新的文本生成范式。与传统自回归模型中的
每天给你送来NLP技术干货！ ---- 转自 | 新智元 编辑 | 好困 清华&字节联合提出的DA-Transformer摆脱了传统并行模型依赖知识蒸馏的问题，在翻译任务中大幅超越了之前所有并行生成模型，最高提升 4.57 BLEU。同时也首次达到、甚至超越了自回归 Transformer 的性能，在最高提升 0.6 BLEU 的同时，能够降低7倍的解码延迟。｜还在纠结会不会错过元宇宙和web3浪潮？清华大学科学史系副教授胡翌霖，这次给你讲个透！ 并行文本生成模型（非自回归模型）是一种新的文本生成范
ml5.js旨在为创意编程提供开箱即用的机器学习算法。该库封装了常用的机器学习算法和预训练模型，基于TensorFlow.js，可单独使用，也可搭配p5.js使用。
机器之心发布 作者：钱线、封江涛、周浩 Transformer 等文本生成主流算法的逐词生成对适合并行计算的 GPU 并不友好，会导致 GPU 利用率低下。并行生成有助于解决这一问题。前不久，字节跳动火山翻译团队的并行生成翻译系统 GLAT 拿下了 WMT2021 De-En/En-De 的双料冠军。为了帮助大家跟进这一成果，火山翻译开源了一个名为 ParaGen 的 Pytorch 深度学习框架，其中包含 GLAT 模型复现和 WMT21 的代码。 代码地址：https://github.com/byt
多模态数字内容生成，泛指利用AI生成技术生成图像、视频、语音、文本、音乐等内容的合成技术。自然语言处理领域的GPT-3和计算机视觉领域的Deepfake让多模态数字内容生成，成为AI领域最受关注的技术方向之一。生成式AI也是2020首次进入Gartner技术成熟度曲线，跟踪其成熟度和未来潜力。在京东，多模态内容生成有非常多且有趣的应用场景：基于图像生成的虚拟试衣、AI音乐生成、商品营销文案生成、AI写诗、风格化AI书法生成、文本与图像的相互生成等等。
最近，在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项 NLP 任务上都获得了不错的提升，广泛受到了各界的关注。今天，两位主讲嘉宾为大家精选了近期语言模型预训练方法中的几个代表性模型（包括 ELMo，OpenAI GPT 和 BERT），和大家一起学习分享最新的研究进展。
python中使用wordcloud包生成的词云图。 下面来介绍一下wordcloud包的基本用法。 class wordcloud.WordCloud(font_path=None, width=400, height=200, margin=2, ranks_only=None, prefer_horizontal=0.9,mask=None, scale=1, color_func=None, max_words=200, min_font_size=4, stopwords=None, random
案例：其中TFIDF可参见之前的博客 http://blog.csdn.net/hhtnan/article/details/76586693 下图为背景图片
hi，大家好~我是shadow，一枚设计师/全栈工程师/算法研究员，目前主要研究方向是人工智能写作和人工智能设计，当然偶尔也会跨界到人工智能艺术及其他各种AI产品。
https://www.tensorflow.org/api_docs/python/tf/layers/batch_normalization https://www.tensorflow.org/programmers_guide/variableshttps://www.tensorflow.org/programmers_guide/variables https://www.tensorflow.org/api_guides/python/reading_data#Multiple_input_pipelines
量子位智库 发自 凹非寺 量子位 | 公众号 QbitAI AIGC（AI生成内容），这个概念最近可以说是火得一塌糊涂。 例如Stable Diffusion，只要对它说一句话，“唰唰唰”地就能秒生成画作： Big chunky Venom（巨大敦实的毒液）. 知名博主大谷Spitzer还用它“翻拍了”好莱坞国际巨星版的《华强买瓜》： 还有此前谷歌家的Imagen、OpenAI出的DALL·E系列等，也都成了备受网友们热捧的AI内容生成神器。 甚至还有人拿着Midjourney生成的画作参加艺术比赛，碾
AI人工智能行业的发展其实是一个经久不衰的话题，而近期AIGC的热门讨论也将人们的目光再次聚焦。AIGC的全称是AI-Generated Content，它属于一种新的内容生成方式，通过利用人工智能技术，自动地生成各种类型的内容，也叫做生成式AI。有文本生成、音频生成、图像生成、视频生成及图像、视频、文本间的跨模态生成等多种类型。 图片来源于国海证券研报 《 人工智能系列深度报告:AIGC行业综述篇 ——开启AI新篇章 》 当前AIGC在文本、图片和代码领域都有比较成熟的落地，在文本生成上ChatGPT
着文本生成图像的语言模型兴起，SolidUI想帮人们快速构建可视化工具，可视化内容包括2D,3D,3D场景，从而快速构三维数据演示场景。SolidUI 是一个创新的项目，旨在将自然语言处理（NLP）与计算机图形学相结合，实现文生图功能。通过构建自研的文生图语言模型，SolidUI 利用 RLHF (Reinforcement Learning Human Feedback) 流程实现从文本描述到图形生成的过程。
导读：在电商推荐中，除了推送商品的图片和价格信息外，文案也是商品非常重要的维度。基于编码器解码器范式的序列文本生成模型是文案挖掘的核心，但该种方法面临着两大技术挑战：一是文案生成结果不可靠和生成质量不可控，无法满足业务对电商商品文案内容可靠性的严格要求；二是序列文本生成模型经常面临数据坍塌，比较容易生成万金油式的安全文案，文案内容本身的多样性会越来越低，且无法捕捉语言本身的流行或演化趋势。针对以上两大挑战，在以文案生成系统为核心的基础上，引入了文案摘要清洗系统和文案质量评估系统，总结提出了一个通用的电商商品文案挖掘方案。今天将和大家分享京东电商平台的电商商品文案挖掘的优化实践，包括以下几方面内容：
谷歌力推的JAX在最近的基准测试中性能已经超过Pytorch和TensorFlow，7项指标排名第一。
机器之心报道 演讲：周明 编辑：萝卜皮 在 WAIC 2022 AI 开发者论坛上，澜舟科技创始人兼 CEO、中国计算机学会 CCF 副理事长、创新工场首席科学家周明发表主题演讲《基于预训练语言模型的可控文本生成研究与应用》。 在演讲中，他主要从四个部分进行了介绍：可控文本生成背景、可控文本生成研究进展、澜舟可控文本生成应用实践、总结与展望。说到可控文本生成研究进展，周明总结了三个技术要点：可控文本生成神经网络模型、可控文本生成模型训练与解码、改进生成文本的事实正确性。此外，周明还介绍了澜舟可控文本生成平
我今天主要介绍一下文本生成，尤其是可控文本生成目前的几个重要研究进展，包括文本生成基本方法与应用、文本生成中的可控方法研究、文本生成中如何融入知识和常识，长文本生成方法以及文本生成中的解码方法。在此之后，我会介绍一下澜舟科技在文本生成方面的最新项目。
机器之心报道 编辑：小舟 1 月 12 日，在机器之心 AI 科技年会 AIGC 技术应用论坛上，澜舟科技创始人兼 CEO、中国计算机学会 CCF 副理事长、创新工场首席科学家周明发表了主题演讲《文本生成研究进展》。 以下为演讲的详细内容，机器之心进行了不改变原意的编辑、整理。 我今天主要介绍一下文本生成，尤其是可控文本生成目前的几个重要研究进展，包括文本生成基本方法与应用、文本生成中的可控方法研究、文本生成中如何融入知识和常识，长文本生成方法以及文本生成中的解码方法。在此之后，我会介绍一下澜舟科技在文本
8 月 4 日下午的 HDC 2023 开发者大会上，华为正式发布了 HarmonyOS 4、新一代鸿蒙开发套件、HarmonyOS Next 开发者预览版本等一系列新技术。
自然语言理解是腾讯 AI Lab 的主要研究方向之一，研究能力也一直处于业界领先水平。总体而言，腾讯 AI Lab 的研究内容囊括从自然语言理解到生成的整个链条，另外还涉及到对 AI 系统可解释性以及算法底层机制等理论研究。相关研究成果也一直在通过研究论文、开放数据集和开源代码的形式向 NLP 及 AI 社区分享。
来源：arxiv 编译：Marvin 【新智元导读】上海交通大学、伦敦大学学院朱耀明, 卢思迪,郑雷,郭家贤, 张伟楠 , 汪军,俞勇等人的研究团队最新推出Texygen平台，这是一个支持开放域文本生成模型研究的基准平台。Texygen不仅实现了大部分的文本生成模型，而且还覆盖了一系列衡量生成文本的多样性、质量和一致性的评测指标。 项目地址: https://github.com/geek-ai/Texygen 论文：https://arxiv.org/abs/1802.01886 上海交通大学、伦敦大
近期，Uber AI 研究院的一篇论文《Plug and Play Language Models: A Simple Approach To Controlled Text Generation》（https://arxiv.org/abs/1912.02164）中介绍了一种简单、高效的精细控制方法，可以轻松地让大规模语言模型生成指定的主题、风格的文本，而且还有很广泛的适用性。Uber AI 的研究人员们把它比喻为「让小老鼠控制一只猛犸象」。AI 科技评论把论文的解读博客编译如下。
常见的多模态转换就是文本生成图像或图像生成文本，即使有视频转图像，也更多的是将视频逐帧转换为图像，基本上未包含创造性和创意性的内容。
摘要：本篇从理论到实际讲解了实际项目中使用很多的SimBERT模型。首先介绍了业务使用背景，主要用SimBERT的相似文本生成和相似文本检索能力；然后详细介绍了SimBERT的原理，SimBERT是基于UniLM来完成文本生成任务，重点介绍了SimBERT的损失函数和训练流程；最后源码实践了SimBERT，通过广告文案生成模型实践了相似文本生成任务，并基于SimBERT+Faiss实践了相似文本检索任务。对于希望将SimBERT应用于实际项目中的小伙伴可能有所帮助。
作者 | 刘媛媛 来源 | 数据实战派 文本生成是 NLP 中最重要且颇具挑战性的任务之一。近年来，预训练语言模型 (Pretrained Language Models ，下文简称 “PLM”) 的范式，极大地推动了该领域的发展。例如，我们曾介绍过 AI 在古诗生成上的突破《清华团队最新成果：可致特朗普能咏比特币，AI 写古诗 “更上一层楼”》。 最近，一项由中国人民大学团队完成的预印本论文 Pretrained Language Models for Text Generation: A Survey，
本文探索了ChatGPT作为GPT系列模型中最新版本在自动文本生成方面的应用与无限可能性。从自然语言处理的重要性开始，简要介绍了GPT系列模型的演进和在NLP领域的应用。随后，重点介绍了ChatGPT的优势和在创意写作、客户服务、教育等领域的应用。此外，还展望了ChatGPT在游戏设计、艺术创作等领域的创新应用，同时讨论了可能面临的挑战和伦理考量。ChatGPT在自动文本生成方面的工作原理和多样性表现，使得其拥有广泛的应用前景，为自然语言处理技术的发展贡献着重要的力量。
自然语言处理（NLP）领域中，文本生成是一项引人注目的任务，它涉及到使用计算机来生成具有自然语言风格和语法的文本。本文将深入研究NLP在文本生成中的原理，介绍常见的技术方法，并提供一个基于Python和现代NLP库的简单实例，以帮助读者更好地理解和应用这一领域的知识。
文本生成是自然语言处理的一个核心子领域，它涉及使用模型来自动创建自然语言文本。这种生成可以是基于某些输入的响应，如图像或其他文本，也可以是完全自主的创造。
前者使用文本的字符、位置和掩码图像等输入来为文本生成或编辑生成潜在特征。后者采用OCR模型将笔划数据编码为嵌入，与来自分词器的图像描述嵌入相结合，以生成与背景无缝融合的文本。作者在训练中采用了文本控制扩散损失和文本感知损失，以进一步提高写作准确性。据作者所知，AnyText是第一个解决多语言视觉文本生成的工作。 值得一提的是，AnyText可以与社区现有的扩散模型相结合，用于准确地渲染或编辑文本。经过广泛的评估实验，作者的方法在明显程度上优于其他所有方法。 此外，作者还贡献了第一个大规模的多语言文本图像数据集AnyWord-3M，该数据集包含300万个图像-文本对，并带有多种语言的OCR注释。基于AnyWord-3M数据集，作者提出了AnyText-benchmark，用于评估视觉文本生成准确性和质量。 代码：https://github.com/tyxsspa/AnyText
前不久，百度产业级知识增强大模型 “文心” 全景图亮相，近日，其中的跨模态生成模型 ERNIE-ViLG 在百度文心官网开放体验入口，并放出了论文：
AI科技评论按：自生成式对抗性网络 GANs 出现以来，它和它的变体已经无数次在图像生成任务中证明了自己的有效性，也不断地吸引着越来越多的研究人员加入到提高GANs训练的可控性和稳定性的研究中。 最初，由于其中的一个缺陷，GANs在文本生成方面无法得到有效的应用。得益于该团队之前发表的SeqGAN（https://arxiv.org/abs/1609.05473），GANs在文本生成上有了可能，不过表现并没有图像生成任务中那么突出。主要问题之一就是，生成器 G 从鉴别器 D 获得的反馈中含有的信息量太少，不
摘要：为了满足实际应用的要求，控制大型语言模型（LLM）的生成至关重要。之前的研究试图将强化学习（RL）引入可控文本生成，而大多数现有方法都存在过拟合问题（基于微调的方法）或语义崩溃（后处理方法）。然而，目前的强化学习方法一般由粗粒度（句子/段落级）反馈指导，这可能会由于句子内部的语义扭曲或进展而导致性能不佳。为了解决这个问题，我们提出了一种名为 TOLE 的新型强化学习算法，它为可控文本生成制定了 TOken-LEvel 奖励，并采用 "first-quantize-then-noise" "先量化后噪声 "的范式来增强 RL 算法的鲁棒性。实验结果表明，我们的算法在单属性和多属性控制任务上都能取得优异的性能。
来源：机器之心本文约2300字，建议阅读9分钟该模型参数规模达到100亿，是全球最大的中文跨模态生成模型。 在文字生成图像上，文心 ERNIE-ViLG 可以根据用户输入的文本，自动创作图像，生成的图像不仅符合文字描述，而且达到了非常逼真的效果。在图像到文本的生成上，文心 ERNIE-ViLG 能够理解画面，用简洁的语言描述画面的内容，还能够根据图片中的场景回答相关的问题。 前不久，百度产业级知识增强大模型 “文心” 全景图亮相，近日，其中的跨模态生成模型 ERNIE-ViLG 在百度文心官网开放体验入口，
这篇论文介绍了一个名为AnyText的新型扩散模型，专注于生成准确且连贯的图像中的视觉文本。AnyText是一个基于扩散的多语言视觉文本生成和编辑模型，它通过两个主要组件来实现这一目标：辅助潜在模块（auxiliary latent module）和文本嵌入模块（text embedding module）。
尽管我们已经长大成人，但内心深处的孩童永远都存在。愿你在繁忙的生活中也能保持对生活中的美好事物的敏感和热爱。愿你永远保持年轻的心态，享受生活中的每一个美好瞬间。六一快乐
今天要和大家分享的是2019年Google Research的一篇关于文本生成的论文[1]，已开源[2]。
wordcloud 是一个python实现的高效词频可视化工具，除了可以使用各种mask和颜色提供个性化的掩膜，还可以通过api便捷的挑战获得个性化的词云输出。 安装
可控文本生成技术（Controllable Text Generation）是自然语言处理（NLP）领域的一个重要研究方向，它旨在生成能够满足特定约束和要求的自然语言文本。今天给大家分享这篇文章是由人大，南开和上海算法创新研究院联合提出了一种基于动态属性图的大模型可控文本生成架构（DATG）。
中将介绍一个流行的机器学习项目——文本生成器，你将了解如何构建文本生成器，并了解如何实现马尔可夫链以实现更快的预测模型。
大数据文摘授权转载自AI科技评论 作者 | 李梅 编辑 | 陈彩娴 11 月 5 日，人工智能顶级会议 ICLR 2023 的评审结果正式发布。 除了讨论提交论文的分数、录用可能性、如何 rebuttal 之外，Diffusion Model（扩散模型）成了今年 ICLR 的热门关键词之一，以扩散模型为研究主题的投稿论文数量出现暴涨，所涵盖的具体方向也十分广泛。 ICLR 2023 的论文提交截止日期是今年的 9 月 28 日，距离文本生成图像模型 DALL·E 2 的问世不过 5 个月，Stable Di
导语：本文是北京大学万小军教授在Byte Tech 2019 机器智能前沿论坛上的分享。Byte Tech 2019由中国人工智能学会、字节跳动、清华大学联合主办，清华大学数据科学研究院协办。
基于深度学习的机器学习方法已经在语音、文本、图像等单一模态领域取得了巨大的成功，而同时涉及到多种输入模态的多模态机器学习研究有巨大的应用前景和广泛的研究价值，成为了近年来的研究热点。
序列到序列（seq2seq）模型给机器翻译领域带来了巨大变革，并成为多种文本生成任务的首选工具，如文本摘要、句子融合和语法纠错。模型架构改进（如 Transformer）以及通过无监督训练方法利用大型无标注文本数据库的能力，使得近年来神经网络方法获得了质量上的提升。
如果总结 2022 年十大技术趋势，AIGC（AI-Generated Content）一定能稳站一席。
作者 | 李梅 编辑 | 陈彩娴 11 月 5 日，人工智能顶级会议 ICLR 2023 的评审结果正式发布。 除了讨论提交论文的分数、录用可能性、如何 rebuttal 之外，Diffusion Model（扩散模型）成了今年 ICLR 的热门关键词之一，以扩散模型为研究主题的投稿论文数量出现暴涨，所涵盖的具体方向也十分广泛。 ICLR 2023 的论文提交截止日期是今年的 9 月 28 日，距离文本生成图像模型 DALL·E 2 的问世不过 5 个月，Stable Diffusion 的发布也只是在 8
文本生成是自然语言理解的高级阶段，是实现类人智能的重要手段之一。Geek.AI在AAAI2018中推出了LeakGAN后，终于又推出了TexyGen这个开源文本生成框架。由于之前就想对leakgan深入地看一下，不过这回可以通过TexyGen这个框架来实现实现对近几年的所有文本生成模型的直接实现。
机器之心报道 编辑：力元 近年来，自然语言生成（NLG）是最突出的技术之一。来自 CMU 计算机科学系的语言技术博士生 Shrimai Prabhumoye 在本篇论文中对人机交互领域中的可控文本生成问题进行了深度的研究。 论文全长 103 页，共六章，从人类交流的三个方面：风格、内容、结构讨论了如何能够让机器听起来更像人，并提供了在神经文本生成中控制这些变量的深度学习解决方案。 机器之心对本篇论文的核心内容进行了介绍，感兴趣的读者可以阅读论文原文。 论文链接：https://www.cs.cmu.edu
知识库问答技术主要基于知识库来帮助人们快速、准确地获取所需信息。目前，关于中文知识库问答系统的研究成果较少且以信息抽取的问答方法为主，这类方法往往通过结合大量复杂的特征与模型实现，尽管回答准确度高，但难以落地于实际场景。
【导读】人们期待未来有一天计算机能够像人类一样会写作，能够撰写出高质量的自然语言文本。文本自动生成就是实现这一目的的关键技术。按照不同的输入划分，文本自动生成可包括文本 到文本的生成、意义到文本的生成
在近几年的自然语言处理领域中，BERT和GPT是两个引起广泛关注的语言模型。特别是在GPT3.5的基础上进行微调的chatGPT，持续出圈和火爆。chatGPT的火爆表明了预训练语言模型在自然语言处理领域具有巨大的潜力，并且在提高自然语言理解和生成能力方面取得了显著的进展。这可能会带来更多的应用和更广泛的接受。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
