Android AI示例宝库：一站式探索Google AI模型的无限可能

// 初始化支持图文生成的Gemini模型
val generativeModel = Firebase.ai(backend = GenerativeBackend.googleAI()).generativeModel(
    "gemini-3-pro-image-preview",
    generationConfig = generationConfig {
        temperature = 0.9f
        topK = 32
        topP = 1f
        maxOutputTokens = 4096
        // 关键：指定模型可以返回文本和图像两种模态
        responseModalities = listOf(ResponseModality.TEXT, ResponseModality.IMAGE)
    },
    safetySettings = listOf(
        SafetySetting(HarmCategory.HARASSMENT, HarmBlockThreshold.MEDIUM_AND_ABOVE),
        SafetySetting(HarmCategory.HATE_SPEECH, HarmBlockThreshold.MEDIUM_AND_ABOVE),
        SafetySetting(HarmCategory.SEXUALLY_EXPLICIT, HarmBlockThreshold.MEDIUM_AND_ABOVE),
        SafetySetting(HarmCategory.DANGEROUS_CONTENT, HarmBlockThreshold.MEDIUM_AND_ABOVE),
    ),
    systemInstruction = content {
        text("""You are a friendly assistant. Keep your responses short.""")
    },
)

// 构建包含文本和图像的多模态内容并发送请求
fun sendMessageWithImage(message: String, bitmap: Bitmap?) {
    viewModelScope.launch {
        val content = content {
            text(message)
            if (bitmap != null) {
                image(bitmap) // 将Bitmap添加为图像输入
            }
        }
        val response = chat.sendMessage(content)
        // 处理响应...
    }
}

// 定义可供模型调用的函数（以添加待办事项为例）
private val addTodo = functionDeclaration("addTodo") {
    description = "Adds a new todo item to the list"
    // 定义函数的参数模式
    parameters = schema {
        property("title", Schema.STRING) {
            description = "The title of the todo"
        }
    }
    // 当模型调用此函数时，返回响应的格式
    response = schema {
        property("result", Schema.STRING) {
            description = "The result of the operation"
        }
    }
}

// 初始化Gemini Live模型，并传入工具（函数）声明
val generativeModel = Firebase.ai(backend = GenerativeBackend.vertexAI()).liveModel(
    "gemini-2.5-flash-native-audio-preview-12-2025",
    generationConfig = liveGenerationConfig,
    systemInstruction = systemInstruction,
    tools = listOf(
        // 将多个函数声明作为工具提供给模型
        Tool.functionDeclarations(
            listOf(getTodoList, addTodo, removeTodo, toggleTodoStatus),
        ),
    ),
)

// 连接到实时会话
try {
    session = generativeModel.connect() // 建立连接，准备接收和发送音频流
} catch (e: Exception) {
    Log.e(TAG, "Error connecting to the model", e)
    liveSessionState.value = LiveSessionState.Error
}

// 初始化ML Kit图像描述客户端
private var imageDescriber: ImageDescriber = ImageDescription.getClient(
    ImageDescriberOptions.builder(context).build(),
)

/**
 * 生成图像描述的核心方法。
 * @param imageUri 要描述图像的Uri
 */
private suspend fun generateImageDescription(imageUri: Uri) {
    // 更新UI状态为“生成中”
    _uiState.value = GenAIImageDescriptionUiState.Generating("")
    // 从Uri加载Bitmap
    val bitmap = MediaStore.Images.Media.getBitmap(context.contentResolver, imageUri)
    // 构建图像描述请求
    val request = ImageDescriptionRequest.builder(bitmap).build()

    // 执行推理。runInference支持流式回调，可以在生成过程中实时更新UI
    imageDescriber.runInference(request) { newText ->
        // 每次模型生成新的文本片段时回调
        _uiState.update { currentState ->
            // 累加生成的文本
            (currentState as? GenAIImageDescriptionUiState.Generating)
                ?.copy(partialOutput = currentState.partialOutput + newText)
                ?: currentState
        }
    }.await() // 等待推理完全完成
    // 推理完成，更新UI状态为“成功”等...
}

/**
 * 使用遮罩对图像进行局部重绘。
 * @param sourceImage 原始图像
 * @param maskImage 遮罩图像（白色区域表示需要重绘的部分）
 * @param prompt 描述重绘内容的文本提示
 * @param editSteps 编辑步数，影响生成质量
 * @return 编辑后的图像Bitmap
 */
@OptIn(PublicPreviewAPI::class)
suspend fun inpaintImageWithMask(sourceImage: Bitmap, maskImage: Bitmap, prompt: String, editSteps: Int = DEFAULT_EDIT_STEPS): Bitmap {
    // 调用Imagen编辑模型的editImage方法
    val imageResponse = editingModel.editImage(
        // 参考图像：包含原始图像和遮罩
        referenceImages = listOf(
            ImagenRawImage(sourceImage.toImagenInlineImage()), // 转换原始图像为Imagen格式
            ImagenRawMask(maskImage.toImagenInlineImage()),    // 转换遮罩为Imagen格式
        ),
        prompt = prompt, // 重绘提示
        config = ImagenEditingConfig(
            editMode = ImagenEditMode.INPAINT_INSERTION, // 指定编辑模式为“局部插入重绘”
            editSteps = editSteps,
        ),
    )
    // 返回生成的第一个图像
    return imageResponse.images.first().asBitmap()
}