温馨提示:文本由机器自动转译,部分词句存在误差,以视频为准
00:00
效果差就想微调,先问哪层坏了,一周内按6层定位,不许盲讯谁负责?客户要答案准体验我不是模型版本性微调不能替代检索和上下文修复。先保证价值感知工单显示幻觉集中在知识更新和权限类问题。微调救不了客户在第三步就生气,谁借外部证据。Anthloic建议先工作流,Iris强调可观测,PFTT是工具,不是起点,各例不能当趋势预期,只做诊断和评估闭环不碰微调解决谁的问题,客服答不准,不做什么不重构多agent震候选A全链路可观测加分层次定位后选B直接loura微调A失败可退,B失败无法证明收益。Red检索错to误超时部分。
01:00
成功图上没问题,代码里全是坑,没有trace和回放真修不完,没有baseline和Eve,开讯也证明不了收益来自哪里。先定义成功线和停止线,再看样本量,用户搜的是具体问题,知识更新应走内容索引和rag,不是微调,先让搜索引擎和模型都能理解转化事件没白头流,只会放大错误。T和RO ass必须可追踪,否则预算加倍就是烧钱。微调PPU加标注,每月容易烧掉几十万,先给20万诊断预算,ROI门槛不到不加码。客户数据训练授权输出责任哪条敢写进合同微调权重归属必须清楚出示谁负责,下一棒是谁?诊断器、owner评测及owner门禁审批人人人参与。
02:00
必须有人交互,我收回模型升级承诺改成可解释牌账和可回退销售话术聚焦答案准响应吻不吹新模型一线要能用工单ID关联TRACE10分钟定位到PRO还是to,否则闭环率还是上不去。诊断加评估20万封顶微调追加必须满足稳定归因模型高质量样本评测可验证ROI过线裁品托M敏授权日志留存三件套先座Laura权重规公司客户数据不出预红线之外可视o Bob诊断器David评测集Alex回放deadline两周验收能定位且能回放范围再动一次一期不做微调,不做多agent诊,不做全量重构,只交付诊断器和评测机械,最终trade off吸。
03:00
等短期模型指标放入归因和可回费,半年后若门禁全过再接Laura眼镜,实现路径全链路trace架回放分层诊断器按6层打分,门禁自动拦截,无baseline训练,外部资料仍支持先工作流后微调,但置信度要标,缺少自家Eve前不能宣称微调有效成功线定位准确率8成,幻觉率降3成,停止线两周无改善或数据授权不清立即停自然增长验证知识更新页收录率,搜索点击到解决率,若索引能修就别动模型付费验证,只投知识更新场景日预算2000K,上限50,转化事件没通前一分不同拍板,先分层诊断和评估微调冻结三门槛全过才做dollaro,否则回退麦C总控。
04:00
2周交互。
我来说两句