首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >不止 HelloWorld!AI 鸿蒙应用开发真实项目开发实录

不止 HelloWorld!AI 鸿蒙应用开发真实项目开发实录

原创
作者头像
用户12687280
发布于 2026-11-16 17:37:48
发布于 2026-11-16 17:37:48
250
举报

一、鸿蒙 AI 开发的三条路线,选错就是灾难

鸿蒙上做 AI 应用有三条路:系统 Kit(Core Speech/Vision/NLP)开箱即用、MindSpore Lite 端侧自部署模型、云侧大模型 API。选型不看技术先进性,看四个约束:离线可用性、响应延迟、包体积、隐私合规。真实项目里通常是混合的——高频低延迟任务走端侧 Kit,复杂理解走云侧大模型,端侧兜底降级。把所有能力都押在云侧,弱网即不可用;全押端侧,模型精度和包体积双输。

二、项目背景:一个离线可用的会议纪要助手

需求:录音 → 端侧语音转写 → 关键信息抽取 → 生成纪要。硬约束:转写必须离线(隐私)、纪要生成可联网、首字延迟 < 800ms、安装包 < 120MB。选型结论:转写用 Core Speech Kit(系统内置,零包体积增量),纪要生成用云侧大模型流式接口,网络不可用时降级为端侧规则摘要。

三、架构分层

代码语言:javascript
复制
UI 层(ArkUI 声明式) → AI 服务层(转写/摘要/降级) → 能力层(Core Speech Kit / MindSpore Lite / HTTP) → 数据层(Preferences / RDB)

关键原则:AI 推理绝不放 UI 线程。鸿蒙的 UI 线程被阻塞超过阈值直接丢帧甚至 ANR,所有推理和网络请求走 TaskPool 或 Worker。

四、核心代码

1. 端侧语音转写封装(Core Speech Kit)

代码语言:javascript
复制
// entry/src/main/ets/service/AsrService.ets
import { speechRecognizer } from '@kit.CoreSpeechKit';
import { BusinessError } from '@kit.BasicServicesKit';

export class AsrService {
  private engine: speechRecognizer.SpeechRecognitionEngine | null = null;

  async init(): Promise<void> {
    const params: speechRecognizer.CreateEngineParams = {
      language: 'zh-CN',
      online: 0,                        // 0=离线,隐私数据不出设备
      extraParams: { recognitionMode: 1, vadBegin: 2000, vadEnd: 3000 }
    };
    this.engine = await speechRecognizer.createEngine(params);
  }

  /** 流式转写:边录边出字,降低感知延迟 */
  async transcribe(audioPath: string, onPartial: (t: string) => void): Promise<string> {
    if (!this.engine) await this.init();
    return new Promise<string>((resolve, reject) => {
      let finalText = '';
      this.engine!.setListener({
        onResult: (sessionId: string, result: speechRecognizer.SpeechRecognitionResult) => {
          if (!result.isFinal) { onPartial(result.result); return; }
          finalText = result.result;
        },
        onError: (_: string, err: BusinessError) => reject(new Error(`ASR ${err.code}`)),
        onComplete: () => resolve(finalText)
      });
      this.engine!.startListening({
        sessionId: 'asr-' + Date.now(),
        audioPath,
        extraParams: { maxAudioDuration: 60000 }
      });
    });
  }

  release(): void { this.engine?.shutdown(); this.engine = null; }
}

踩坑:online: 0 是硬约束,设成 1 在弱网下会静默转云,违反隐私承诺。离线引擎首次加载约 300ms,必须预热,不能等用户点录音才开始初始化。

2. 端侧推理封装(MindSpore Lite + TaskPool)

端侧模型通过 @ohos.ai.mindSporeLite 加载,推理必须放到 TaskPool,且模型只加载一次(全局单例),重复加载会 OOM。

代码语言:javascript
复制
// entry/src/main/ets/service/LocalModel.ets
import { mindSporeLite } from '@kit.MindSporeLiteKit';
import { taskpool } from '@kit.ArkTS';

@Concurrent
async function runInfer(modelPath: string, input: Float32Array): Promise<Float32Array> {
  const ctx: mindSporeLite.Context = {
    target: ['npu'],                    // 优先 NPU,失败回退 CPU
    cpu: { threadNum: 2, threadAffinityMode: 1 }
  };
  const model = await mindSporeLite.loadModelFromFile(modelPath, ctx);
  const inputs = model.getInputs();
  inputs[0].setData(input.buffer as ArrayBuffer);
  const outputs = await model.predict(inputs);
  const out = new Float32Array(outputs[0].getData());
  model.free();                          // 必须显式释放,否则内存泄漏
  return out;
}

export async function infer(modelPath: string, input: Float32Array): Promise<Float32Array> {
  const task = new taskpool.Task(runInfer, modelPath, input);
  return await taskpool.execute(task) as Float32Array;
}

踩坑:model.free() 不调用,连续推理十几次后进程被系统杀掉;NPU target 在部分机型不支持,loadModelFromFile 会抛错,必须 try-catch 回退 ['cpu']。

3. 云侧大模型流式调用 + 降级

代码语言:javascript
复制
// entry/src/main/ets/service/SummaryService.ets
import { http } from '@kit.NetworkKit';
import { net } from '@kit.NetworkKit';

export async function summarizeStream(
  text: string,
  onDelta: (s: string) => void
): Promise<string> {
  if (!await net.hasDefaultNet()) {           // 无网直接走端侧兜底
    const local = await infer('local_summarizer.ms', tokenize(text));
    return detokenize(local);
  }
  const req = http.createHttp();
  let full = '';
  req.on('dataReceive', (chunk: ArrayBuffer) => {
    const s = new util.TextDecoder().decodeToString(new Uint8Array(chunk));
    for (const line of s.split('\n')) {
      if (!line.startsWith('data:')) continue;
      const d = line.slice(5).trim();
      if (d === '[DONE]') return;
      const delta = JSON.parse(d).choices[0]?.delta?.content ?? '';
      full += delta; onDelta(delta);
    }
  });
  await req.request(API_URL, {
    method: http.RequestMethod.POST,
    header: { 'Content-Type': 'application/json', 'Authorization': `Bearer ${KEY}` },
    extraData: JSON.stringify({ model: 'deepseek-chat', stream: true, messages: [{ role: 'user', content: text }] }),
    connectTimeout: 10000, readTimeout: 60000
  });
  req.destroy();
  return full;
}

4. UI 状态管理

代码语言:javascript
复制
// entry/src/main/ets/pages/Index.ets
@Entry
@Component
struct Index {
  @State partial: string = '';
  @State summary: string = '';
  @State busy: boolean = false;

  build() {
    Column({ space: 12 }) {
      Text(this.partial || '点击开始录音').fontSize(16)
      Button(this.busy ? '处理中…' : '开始').enabled(!this.busy)
        .onClick(() => this.run())
      Scroll() { Text(this.summary).fontSize(14) }.height(300)
    }.padding(16)
  }

  async run() {
    this.busy = true;
    try {
      const asr = new AsrService();
      const text = await asr.transcribe('/data/rec.pcm', t => this.partial = t);
      asr.release();
      this.summary = await summarizeStream(text, d => this.summary += d);
    } finally { this.busy = false; }
  }
}

五、踩坑实录

坑

后果

对策

推理跑 UI 线程

丢帧/ANR

TaskPool 强制隔离

模型重复加载

OOM 被杀

全局单例 + 引用计数

NPU 不兼容

启动崩溃

try-catch 回退 CPU

离线引擎未预热

首字 1.2s

启动页异步 init

无网未降级

功能不可用

hasDefaultNet 前置判断

包体积超限

上架被拒

模型放 HAP 分包、按需下载

六、性能基线与交付

交付前必须固化三组数字:离线转写首字延迟 P95 < 600ms、端侧摘要单次推理 < 400ms(NPU)、包体积 108MB。同时演练降级:断网、NPU 不可用、模型文件缺失三种场景各跑一遍,确认功能可用而非崩溃。

鸿蒙 AI 开发的专业度,最终落在两个判断上:这个能力该放端侧还是云侧、失败时怎么优雅降级。把这两个问题想清楚,HelloWorld 才真正变成能上架的应用。百渡可搜索【极致it】相关平台获取完整版内容

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、鸿蒙 AI 开发的三条路线,选错就是灾难
    • 二、项目背景:一个离线可用的会议纪要助手
    • 三、架构分层
    • 四、核心代码
      • 1. 端侧语音转写封装(Core Speech Kit)
      • 2. 端侧推理封装(MindSpore Lite + TaskPool)
      • 3. 云侧大模型流式调用 + 降级
      • 4. UI 状态管理
    • 五、踩坑实录
    • 六、性能基线与交付
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档