LM-Kit.NET：.NET 生态一站式本地 AI 开发平台

dotnet new console -n LMKitDemo
cd LMKitDemo

# 核心 SDK（包含 CPU 推理，所有平台通用）
dotnet add package LM-Kit.NET

dotnet add package LM-Kit.NET.Backend.Cuda12.Windows

dotnet add package LM-Kit.NET.Backend.Metal.OSX

using LMKit.Model;

// 1. 加载模型（自动下载或本地路径）
// 方式1：自动下载模型（推荐新手）
using var model = LM.LoadFromModelID("qwen3.5:4b");

// 方式2：手动加载本地模型
// using var model = new LM(@"Models\qwen3.5-4b-instruct-q4_k_m.gguf");

// 2. 生成文本
var prompt = "用C#写一个异步的文件下载工具，支持断点续传，带详细注释";
var response = await model.GenerateAsync(prompt, new GenerateOptions
{
    MaxTokens = 1024,    // 最大生成长度
    Temperature = 0.3f,  // 随机性（0=确定，1=随机）
    StreamOutput = false // 非流式输出
});

// 3. 输出结果
Console.WriteLine("=== AI 生成结果 ===");
Console.WriteLine(response.Text);

using LMKit.Model;
using LMKit.Chat;

// 加载模型
using var model = LM.LoadFromModelID("llama3.2:8b");

// 初始化多轮对话（内置上下文管理）
var conversation = new MultiTurnConversation(model)
{
    // 系统提示词：定义AI角色
    SystemPrompt = """
    你是一个专业的.NET技术专家，回答简洁、准确、专业，
    优先提供代码示例，不啰嗦，不使用无关话术。
    """
};

Console.WriteLine("=== LM-Kit.NET 本地聊天机器人（输入 exit 退出）===");
while (true)
{
    Console.Write("\n你：");
    var input = Console.ReadLine();
    if (input?.ToLower() == "exit") break;
    if (string.IsNullOrWhiteSpace(input)) continue;

    // 流式输出：逐字打印回复
    Console.Write("AI：");
    await foreach (var token in conversation.SubmitStreamingAsync(input))
    {
        Console.Write(token);
    }
    Console.WriteLine();
}

using LMKit.Model;
using LMKit.Agents;
using LMKit.Agents.Tools.BuiltIn;

// 加载模型
using var model = LM.LoadFromModelID("qwen3.5:4b");

// 1. 创建 AI 智能体（内置工具：计算、日期、文件、网络）
var agent = Agent.Create(model)
    .WithName("DotNetExpert")
    .WithDescription("专业的.NET开发助手，支持计算、日期查询、数据处理")
    // 添加内置工具
    .AddTool(BuiltInTools.CalcArithmetic)    // 数学计算
    .AddTool(BuiltInTools.DateTimeNow)       // 日期时间
    .AddTool(BuiltInTools.FileRead)          // 文件读取
    .AddTool(BuiltInTools.TextSummarize)     // 文本总结
    .Build();

Console.WriteLine("=== AI 智能体（支持工具调用，输入 exit 退出）===");
while (true)
{
    Console.Write("\n你：");
    var input = Console.ReadLine();
    if (input?.ToLower() == "exit") break;

    // 智能体执行任务（自动判断是否调用工具）
    Console.Write("AI：");
    var result = await agent.ExecuteAsync(input,
        new AgentExecutionOptions { StreamOutput = true });

    // 流式输出结果
    await foreach (var token in result.StreamingResponse)
    {
        Console.Write(token);
    }
    Console.WriteLine();

    // 打印工具调用日志（可选）
    if (result.ToolCalls.Any())
    {
        Console.WriteLine($"\n[工具调用]：{result.ToolCalls.Count} 次");
    }
}

using LMKit.Model;
using LMKit.RAG;
using LMKit.Chat;

// 1. 加载模型（主模型 + 嵌入模型，自动下载）
using var llm = LM.LoadFromModelID("llama3.2:8b");
using var embeddingModel = LM.LoadFromModelID("bge-m3:small"); // 嵌入模型

// 2. 初始化 RAG 引擎（内置向量库）
var ragEngine = new RagEngine(embeddingModel)
{
    ChunkSize = 1024,        // 文档分块大小
    ChunkOverlap = 128       // 分块重叠长度
};

// 3. 导入私有文档（支持 PDF/Word/TXT/Markdown）
Console.WriteLine("正在加载文档...");
ragEngine.ImportDocument(@"Documents\企业技术方案.pdf");
ragEngine.ImportDocument(@"Documents\产品手册.md");
ragEngine.ImportDocument(@"Documents\API文档.txt");

// 4. 初始化 RAG 对话
var ragChat = new RagChat(llm, ragEngine)
{
    SystemPrompt = "你是文档问答助手，仅基于提供的文档内容回答，不编造信息",
    TopK = 3 // 检索最相关的3个文档片段
};

// 5. 启动 RAG 问答
Console.WriteLine("=== 私有文档 RAG 问答（输入 exit 退出）===");
while (true)
{
    Console.Write("\n你的问题：");
    var query = Console.ReadLine();
    if (query?.ToLower() == "exit") break;

    Console.Write("AI 回答：");
    await foreach (var token in ragChat.SubmitStreamingAsync(query))
    {
        Console.Write(token);
    }
    Console.WriteLine();
}

// GPU 加速配置（NVIDIA/Apple Silicon）
var deviceConfig = new LM.DeviceConfiguration
{
    GpuLayerCount = 35,  // 卸载35层到GPU（CPU设为0）
    UseCuda = true,      // 启用CUDA
    UseMetal = true      // 启用Metal（macOS）
};

// 带进度的模型加载
using var model = new LM(
    @"Models\qwen3.5-4b-instruct-q4_k_m.gguf",
    deviceConfiguration: deviceConfig,
    loadingProgress: progress =>
    {
        Console.Write($"\r加载模型：{progress:P0}");
        return true; // 继续加载
    });

var options = new GenerateOptions
{
    MaxTokens = 2048,        // 最大生成长度
    Temperature = 0.4f,      // 随机性（代码0.1-0.3，创意0.7-1.0）
    TopP = 0.9f,             // 核采样，控制多样性
    FrequencyPenalty = 0.1f,// 重复惩罚
    StreamOutput = true,    // 启用流式输出
    StopSequences = new[] { "用户：", "---" } // 停止序列
};

// 限制对话历史长度（避免上下文溢出）
var conversation = new MultiTurnConversation(model)
{
    MaxHistoryTurns = 10,    // 保留最近10轮对话
    MaxContextTokens = 4096  // 总上下文token上限
};