鸿蒙上做 AI 应用有三条路:系统 Kit(Core Speech/Vision/NLP)开箱即用、MindSpore Lite 端侧自部署模型、云侧大模型 API。选型不看技术先进性,看四个约束:离线可用性、响应延迟、包体积、隐私合规。真实项目里通常是混合的——高频低延迟任务走端侧 Kit,复杂理解走云侧大模型,端侧兜底降级。把所有能力都押在云侧,弱网即不可用;全押端侧,模型精度和包体积双输。
需求:录音 → 端侧语音转写 → 关键信息抽取 → 生成纪要。硬约束:转写必须离线(隐私)、纪要生成可联网、首字延迟 < 800ms、安装包 < 120MB。选型结论:转写用 Core Speech Kit(系统内置,零包体积增量),纪要生成用云侧大模型流式接口,网络不可用时降级为端侧规则摘要。
UI 层(ArkUI 声明式) → AI 服务层(转写/摘要/降级) → 能力层(Core Speech Kit / MindSpore Lite / HTTP) → 数据层(Preferences / RDB)关键原则:AI 推理绝不放 UI 线程。鸿蒙的 UI 线程被阻塞超过阈值直接丢帧甚至 ANR,所有推理和网络请求走 TaskPool 或 Worker。
// entry/src/main/ets/service/AsrService.ets
import { speechRecognizer } from '@kit.CoreSpeechKit';
import { BusinessError } from '@kit.BasicServicesKit';
export class AsrService {
private engine: speechRecognizer.SpeechRecognitionEngine | null = null;
async init(): Promise<void> {
const params: speechRecognizer.CreateEngineParams = {
language: 'zh-CN',
online: 0, // 0=离线,隐私数据不出设备
extraParams: { recognitionMode: 1, vadBegin: 2000, vadEnd: 3000 }
};
this.engine = await speechRecognizer.createEngine(params);
}
/** 流式转写:边录边出字,降低感知延迟 */
async transcribe(audioPath: string, onPartial: (t: string) => void): Promise<string> {
if (!this.engine) await this.init();
return new Promise<string>((resolve, reject) => {
let finalText = '';
this.engine!.setListener({
onResult: (sessionId: string, result: speechRecognizer.SpeechRecognitionResult) => {
if (!result.isFinal) { onPartial(result.result); return; }
finalText = result.result;
},
onError: (_: string, err: BusinessError) => reject(new Error(`ASR ${err.code}`)),
onComplete: () => resolve(finalText)
});
this.engine!.startListening({
sessionId: 'asr-' + Date.now(),
audioPath,
extraParams: { maxAudioDuration: 60000 }
});
});
}
release(): void { this.engine?.shutdown(); this.engine = null; }
}踩坑:online: 0 是硬约束,设成 1 在弱网下会静默转云,违反隐私承诺。离线引擎首次加载约 300ms,必须预热,不能等用户点录音才开始初始化。
端侧模型通过 @ohos.ai.mindSporeLite 加载,推理必须放到 TaskPool,且模型只加载一次(全局单例),重复加载会 OOM。
// entry/src/main/ets/service/LocalModel.ets
import { mindSporeLite } from '@kit.MindSporeLiteKit';
import { taskpool } from '@kit.ArkTS';
@Concurrent
async function runInfer(modelPath: string, input: Float32Array): Promise<Float32Array> {
const ctx: mindSporeLite.Context = {
target: ['npu'], // 优先 NPU,失败回退 CPU
cpu: { threadNum: 2, threadAffinityMode: 1 }
};
const model = await mindSporeLite.loadModelFromFile(modelPath, ctx);
const inputs = model.getInputs();
inputs[0].setData(input.buffer as ArrayBuffer);
const outputs = await model.predict(inputs);
const out = new Float32Array(outputs[0].getData());
model.free(); // 必须显式释放,否则内存泄漏
return out;
}
export async function infer(modelPath: string, input: Float32Array): Promise<Float32Array> {
const task = new taskpool.Task(runInfer, modelPath, input);
return await taskpool.execute(task) as Float32Array;
}踩坑:model.free() 不调用,连续推理十几次后进程被系统杀掉;NPU target 在部分机型不支持,loadModelFromFile 会抛错,必须 try-catch 回退 ['cpu']。
// entry/src/main/ets/service/SummaryService.ets
import { http } from '@kit.NetworkKit';
import { net } from '@kit.NetworkKit';
export async function summarizeStream(
text: string,
onDelta: (s: string) => void
): Promise<string> {
if (!await net.hasDefaultNet()) { // 无网直接走端侧兜底
const local = await infer('local_summarizer.ms', tokenize(text));
return detokenize(local);
}
const req = http.createHttp();
let full = '';
req.on('dataReceive', (chunk: ArrayBuffer) => {
const s = new util.TextDecoder().decodeToString(new Uint8Array(chunk));
for (const line of s.split('\n')) {
if (!line.startsWith('data:')) continue;
const d = line.slice(5).trim();
if (d === '[DONE]') return;
const delta = JSON.parse(d).choices[0]?.delta?.content ?? '';
full += delta; onDelta(delta);
}
});
await req.request(API_URL, {
method: http.RequestMethod.POST,
header: { 'Content-Type': 'application/json', 'Authorization': `Bearer ${KEY}` },
extraData: JSON.stringify({ model: 'deepseek-chat', stream: true, messages: [{ role: 'user', content: text }] }),
connectTimeout: 10000, readTimeout: 60000
});
req.destroy();
return full;
}// entry/src/main/ets/pages/Index.ets
@Entry
@Component
struct Index {
@State partial: string = '';
@State summary: string = '';
@State busy: boolean = false;
build() {
Column({ space: 12 }) {
Text(this.partial || '点击开始录音').fontSize(16)
Button(this.busy ? '处理中…' : '开始').enabled(!this.busy)
.onClick(() => this.run())
Scroll() { Text(this.summary).fontSize(14) }.height(300)
}.padding(16)
}
async run() {
this.busy = true;
try {
const asr = new AsrService();
const text = await asr.transcribe('/data/rec.pcm', t => this.partial = t);
asr.release();
this.summary = await summarizeStream(text, d => this.summary += d);
} finally { this.busy = false; }
}
}坑 | 后果 | 对策 |
|---|---|---|
推理跑 UI 线程 | 丢帧/ANR | TaskPool 强制隔离 |
模型重复加载 | OOM 被杀 | 全局单例 + 引用计数 |
NPU 不兼容 | 启动崩溃 | try-catch 回退 CPU |
离线引擎未预热 | 首字 1.2s | 启动页异步 init |
无网未降级 | 功能不可用 | hasDefaultNet 前置判断 |
包体积超限 | 上架被拒 | 模型放 HAP 分包、按需下载 |
交付前必须固化三组数字:离线转写首字延迟 P95 < 600ms、端侧摘要单次推理 < 400ms(NPU)、包体积 108MB。同时演练降级:断网、NPU 不可用、模型文件缺失三种场景各跑一遍,确认功能可用而非崩溃。
鸿蒙 AI 开发的专业度,最终落在两个判断上:这个能力该放端侧还是云侧、失败时怎么优雅降级。把这两个问题想清楚,HelloWorld 才真正变成能上架的应用。百渡可搜索【极致it】相关平台获取完整版内容
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。