首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >如何根据文本文件(60k字符)生成类似的内容

如何根据文本文件(60k字符)生成类似的内容
EN

Stack Overflow用户
提问于 2022-08-31 20:46:49
回答 2查看 39关注 0票数 -1

我想要生成内容,但从一个大文件,而不是一个一行提示符。

我的文件包含60k个字符。

是否有像GPT-3这样的AI库可以接收大文件并生成类似的内容?

EN

回答 2

Stack Overflow用户

发布于 2022-08-31 23:45:53

您可以尝试微调GPT-2以满足您的需要。见这篇文章。或者,如果您不需要任何特别复杂或复杂的句子,而这些句子不太连贯,那么您可以使用markovifyspacy的马尔可夫链

代码语言:javascript
运行
复制
import markovify
import spacy

FILE = "book.txt"

with open(FILE, "r") as file:
    book = file.read()

nlp = spacy.load("en_core_web_sm")
doc = nlp(cleaned)
sentences = " ".join([sent.text for sent in doc.sents if len(sent.text) > 1])
generator = markovify.Text(sentences, state_size=3)

output = ""

for _ in range(100):
    output += generator.make_sentence() + " "

print(output)

在运行此程序之前,请确保运行python -m spacy download en_core_web_sm

票数 2
EN

Stack Overflow用户

发布于 2022-09-01 15:25:34

你可以看看从莎士比亚语料库开始的tensorflow wich中的经典文本生成笔记本:

生成

一般来说,我认为你是在整个语料库上寻求训练或微调一个模型,然后从一个句子开始生成文本。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/73561722

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档