问GANs (生成对抗性网络)也有可能用于文本吗？

EN

是的，甘斯可以用来做文字。然而，GANs是如何工作的，而文本通常是如何由神经网络生成的，这是一个问题：

• GANs的工作原理是通过发生器和判别器的组合传播梯度。
• 文本通常是通过在令牌空间上有一个最终的softmax层来生成的，也就是说，网络的输出通常是生成每个令牌的概率(即一个离散的随机单元)。

这两个东西不能很好地结合在一起，因为你不能通过离散的随机单元传播梯度。处理这个问题的方法主要有两种：增强算法和Gumbel-Softmax参数化 (也称为混凝土分布)。考虑到加强是已知的有很高的方差，所以你需要大量的数据，以获得良好的梯度估计。

作为文本GANs增强的一个例子，您可以检查SeqGAN文章。一个Gumbel的例子，您可以检查这篇文章。

另一个完全不同的选择是没有一个离散的随机单元作为发生器的输出(例如，在嵌入式空间中确定性地生成令牌)，从而消除了通过它们反向传播的原始问题。

关于这一主题还有更具体的研究：

经过训练的生成器能够产生具有一定语法和逻辑水平的句子。

肖学荣，“生成式对抗性训练文本生成”

这个问题与这个问题有关：https://linguistics.stackexchange.com/questions/26448/how-to-translate-pelevins-creative-unit-idea-to-a-scientific-problem

是的，GANs现在也可以用于离散数据。这种直觉的第一个例子是在瓦瑟斯坦甘斯(WGAN)出现时出现的。伊恩·古德费罗在NIPS 2016会议上提出了一种强化学习的方法，这篇文章还讨论了GAN在离散数据方面的进展。