AI多模态、多智能体故事生成系统：MM-StoryAgent 下载、安装、部署、配置教程

AI多模态、多智能体故事生成系统：MM-StoryAgent

MM-StoryAgent是由上海交通大学与阿里巴巴联合开源的一款创新AI系统，致力于自动生成富有创意和沉浸感的故事视频。它不仅支持文本生成，还能同步生成图像、音效、背景音乐等多种模态内容，为儿童故事创作提供了高效且灵活的解决方案。该系统通过模拟专家与新手作家的对话，优化创作过程，确保故事的质量和完整性。

通过多阶段写作流程，MM-StoryAgent能够首先构建故事大纲，再逐步扩展为完整的章节，确保内容丰富、逻辑清晰。此外，系统内置的多个智能体将文本内容转化为不同模态的提示，并采用“修订-审核”机制不断迭代优化，确保各模态之间的内容一致性，特别是在图像生成时角色形象的一致性。

该系统的开源代码可通过GitHub获取：MM-StoryAgent GitHub:https://github.com/MaoTouHU/QW_StoryAgent

MM-StoryAgent概述

MM-StoryAgent是一个多智能体框架，通过结合大规模语言模型（LLM）和多种模态专家工具，打造沉浸式故事生成体验。系统设计了灵活且可定制的工作流程，允许用户根据需求定义和优化生成过程，以提高创作质量。

其核心特点包括：

• 多模态生成：系统能够生成包括文本、图像、语音和音乐在内的多种内容，最终将这些资产组合成一个高质量的故事视频。
• 多阶段生成流程：故事创作流程分为多个阶段，先生成大纲，再逐步扩展和优化章节内容。
• 智能体协同：通过不同的智能体协作，每个模态的生成任务都得到了精确控制，并经过优化，确保最终输出的多模态内容相互协调。
  

  在这里插入图片描述

MM-StoryAgent适用于各种创意内容生成，特别是在儿童教育和娱乐领域，能够提供高质量、富有表现力的故事视频。

安装与使用

要使用MM-StoryAgent，首先需要安装依赖项并将其作为包安装：

pip install -r requirements.txt
pip install -e .

随后，您可以通过配置文件启动系统：

python run.py -c configs/mm_story_agent.yaml

每个智能体的配置和调用方式也十分灵活，可以根据需要调整各类参数，以定制不同的创作需求。

在线体验：https://huggingface.co/spaces/wsntxxn/MM-StoryAgent

快速入门

本地环境配置项：

MM-StoryAgent可以通过配置文件调用：

python run.py -c configs/mm_story_agent.yaml

每个Agent的调用格式如下：

story_writer: # agent name
    tool: qa_outline_story_writer # name registered in the definition
    cfg: # parameters for initializing the agent instance
        max_conv_turns: 3
        ...
    params: # parameters for calling the agent instance
        story_topic: "Time Management: A child learning how to manage their time effectively."
        ...

新Agent的定制可以参考music_agent.py。Agent类需要实现__init__和call才能正常工作，如下所示：

from typing import Dict
from mm_story_agent.base import register_tool

@register_tool("my_speech_agent")
class MySpeechAgent:
    
    def __init__(self, cfg: Dict):
        # For example, the agent need `attr1` and `attr2` for initilization
        self.attr1 = cfg.attr1
        self.attr2 = cfg.attr2
        ...
    
    def call(self, params: Dict):
        # For example, calling the agent needs `voice` and `speed` parameters
        voice = params["voice"]
        speed = params["speed"]
        ...
    

然后只需修改配置即可调用Agent，例如：

speech_generation:
    tool: my_speech_agent
    cfg:
        attr1: val1
        attr2: val2
    params:
        voice: en_female
        speed: 1.0

故事内容评估

StoryAgent团队使用 GPT-4 根据多个方面自动评估故事质量。StoryAgent团队的故事写作Agent与直接提示 LLM 撰写故事进行了比较。评估分数显示了StoryAgent团队的多Agent、多阶段故事写作流程的优势。

从评估数据可以看出，MM-StoryAgent不仅提升了故事的吸引力和教育意义，还显著提高了温暖感与主题深度。

结语

MM-StoryAgent是一个革命性的多模态故事生成系统，集成了先进的AI技术，为内容创作提供了全新的工具和视角。无论是在儿童故事创作还是教育资源开发领域，它都能大幅提升创作效率与内容质量，成为AI在内容生成领域的重要突破。通过不断优化与迭代，MM-StoryAgent将在未来的故事创作中发挥更加重要的作用。