催生超低功耗邊緣AI應用　tinyML賦予MCU產業新契機

物聯網(IoT)相關技術不斷向前演進，加上節能減碳意識抬頭，使得人工智慧(AI)也從雲端走向邊緣端，僅需mW等級的超低功耗就能進行機器學習(Machine Learning，ML)的「微型機器學習」(tinyML)概念應運而生，近年相關技術發展飛快，擠身熱門前瞻技術之列。運用微控制器(MCU)為邊緣裝置(Edge Device)裝上大腦，將有機會讓電子貨架標籤、感測器等邊緣裝置上，也能增添智慧應用。

新

冠肺炎疫情刺激各產業加速數位轉型；導入AI進行智慧化升級，已然成為各企業的重要發展主軸。一般常見的作法，是透過感測器等裝置進行資料收集，再傳到雲端分析和運算；但隨著資料量愈加龐大，運算力的要求也越來越高，雲端為提供高運算力衍生出高能耗的問題；大量資料不斷在雲端和邊緣端傳輸，亦使資安風險相對提高。tinyML概念的出現，就成了以上問題的解方之一。

市場研究機構Gartner於2018年發出關於邊緣運算(Edge Computing)的報告中，即提到2025年將有75%的資料，會在傳統所認知的資料中心或雲端以外的管道被創造與處理，當資料量越來越大，透過傳統方式處理資料也顯得缺乏效率。Gartner甚至斷言，2025年在商務、科技等領域，都將往邊緣運算靠攏，「AI at the edge」將成為主流。

根據tinyML基金會定義的tinyML規格，是用mW等級以下的超低功耗，在常時啟動(Always-on)及電池供電的邊緣裝置執行邊緣運算。NXP大中華區行銷經理李宜儒表示，過去對ML的看法是高耗能跟資源密集，需要非常龐大的雲端處理能力執行；tinyML著眼的就是希望能在邊緣節點上，透過MCU或微處理器執行ML，以少量的電量與記憶體，達到長時間處理並實現應用的成果。

現行ML之所以導致高功耗，大量資料傳輸是一個痛點；而當ML拉到邊緣端，問題也就有機會迎刃而解。MCU業者Silicon Labs比較透過低功耗藍牙(BLE)傳輸感測器資料與使用AI在邊緣裝置進行分析，結果即顯示前者的功耗多了將近10倍。Silicon Labs資深產品經理Tamas Daranyi也認為，在邊緣裝置分析感測器資料，將可有效節省使用雲端基礎設施和流量的費用，進而達到成本的下降。

Daranyi進一步指出，感測器產生大量即時資料，需要耗費大量的頻寬傳輸至雲端運算，導致無線頻譜飽和並增加運作成本。因此，當原始資料不需要傳輸到雲端進行處理，意味著決策可以在邊緣裝置上即時運行，除了節省成本，並能提供更低的延遲，支援即時操作，無需將詳細的原始資料發發送到雲端，也消除了資料隱私洩漏的可能性。

即便tinyML運算力與一般AI晶片是天差地遠，但如此來看，確實可望替AI應用打開另一片天，使應用場域進一步擴大；以無所不在、相對低成本的邊緣裝置做為載體，背後蘊藏著巨大商機；種種因素，讓tinyML的概念，已然成為市場焦點，替MCU產業界注入新的刺激。從上游的CPU IP設計到MCU產品規劃，各廠商無一不絞盡腦汁，以避免在這場甫鳴槍起跑的tinyML競賽中落於人後。

tinyML商機強勁　RISC-V、Arm IP各顯神通

「智慧深入到終端裝置，已經是一個長期必然的大方向！」RISC-V IP設計廠晶心科技董事長林志明著眼tinyML的特性，歸納出tinyML產品幾個重點發展方向：「tinyML要求低功耗，又要執行大量AI運算，更有效率的處理器架構、軟硬整合，以及演算法的優化將變得關鍵；終端應用的多樣性，也讓處理器架構的彈性及可拓展性，對運算效率扮演舉足輕重的角色。」

林志明認為，低功耗、高效率、彈性及擴充性也就是RISC-V先天的優勢，「Simple與Clean-slate，為RISC-V處理器帶來簡潔的設計，設計模組化讓晶片的面積更小，這些設計皆可優化功耗表現；RISC-V指令標準允許使用者自訂架構，加上處理器核心架構廠提供的擴充化工具，則可補足通用架構對多樣需求上不足。融合所有優勢，即可產出具備差異化又貼近終端應用的處理器架構。」

以晶心RISC-V解決方案為例，林志明指出，tinyML常見應用包括震動偵測、手勢感測、語音指令、異常偵測、物件偵測等，為支應其多樣化應用的需求，晶心在D25和D45等RISC-V核心中提供高效的SIMD/DSP處理效能；商用RISC-V向量處理器NX27V中，也提供多功能向量處理能力。晶心並提供ACE (Andes Custom Extension)擴充框架，使客戶能添加指令以進一步加快應用程序。

晶心為因應邊緣運算至雲端運算的高效能應用需求，也於今年初推出NX27V的RISC-V向量(RVV)擴展指令規格v1.0版。針對向量資料類型，可以處理從FP16到FP64的浮點運算，和Int8到Int64的整數運算，並擴充可減少AI資料傳輸量的BF16和Int4指令；其含有專用串流通訊埠(Streaming Port)介面的向量處理單元，亦可使暫存器和外部元件能高效率交換大量資料。

CPU IP設計廠Arm近年也將AI視為重要方向，並因應tinyML趨勢相繼發表Cortex-M55及M85產品，認定這將是MCU重要的發展趨勢。Arm AIoT方案資深經理黃晏祥指出，隨著tinyML在MCU上的應用越來越普遍，「主要幾個專注32bit的廠商原本用M4或M33，現在逐步轉移到M55甚至近期剛發表的M85，以賦予MCU ML的能力」，實體IC預計今年底、明年初有機會上市。

為支援tinyML的低功耗要求，Arm也在M55或M85等針對AI市場推出的產品上，增加進階的Power Domain，讓電源管理更精細。Arm首席應用工程師張維良解釋，進階的Power Domain能針對不同的硬體區塊更精確管理哪些要工作、哪些要關電，這是傳統M3、M4等產品所沒有的；Helium向量處理技術做向量化運算，據內部統計，每一個單位面積也可增加兩到三倍的效能。

此外，32bit處理器的M55和M85搭配Helium，可支援最小8bit的資料運算單元，使效率和功耗優於M4等處理器，這也是M55跟M4關鍵的差異點。張維良解釋，同樣運算8bit資料，M4只能用32bit運算單元進行運算，M55則只需使用一個8bit乘法器運算，因此M55功耗可以是M4的1/4甚至更少，最佳情況下功耗效率有機會是M4的五倍以上，再加上Helium技術，可進一步優化效能。

綜上所述，黃晏祥認為，要執行ML同時兼顧功耗，必須在軟體和硬體兩方面同時著力，「如M55與M85，都具備了為執行tinyML的Helium功能，能針對AI工作負載進行硬體的最佳化。軟體部分，我們有相對應的應用程式介面(API)，例如CMSIS-NN或者CMSIS-DSP的指令集，都是專門用來支援tinyML的應用。因此軟硬體都要相互配合，才能為MCU進行最佳化。」

低功耗、高性能 MCU應用場域更多元

如NXP、意法半導體(ST)、Silicon Labs等MCU業者，也都紛紛針對ML推出產品，搶攻tinyML的潛在市場。像是NXP，打著「將ML和深度學習帶向邊緣端」的標語，規劃以Cortex-M7為基礎的i.MX RT10x0、Cortex-M33為基礎RT600等系列產品；ST也瞄準AI應用打造AI生態系統，除了相應的MCU產品，並提供「STM32Cube.AI」擴充包等工具，以協助企業縮短設計時程。

李宜儒舉語音UI系統為例，他說，過去這樣的系統受到低功耗和高性能要求的限制，NXP協助客戶規劃的解決方案，內建了去雜訊音訊前端晶片、喚醒詞引擎和語音命令引擎，並強調不需要任何雲端運算，就能提高現實生活嘈雜場景中的喚醒詞和語音命令觸發率；據統計，完整的語音強化解決方案以Cortex-M7為核心，設備平均以160MHz運作，準確率可提高40%。

Silicon Labs則將ML應用整合於系統單晶片(SoC)，搭配無線AIoT系統平台，提供完整解決方案。EFR32系列1和系列2的SoC，支援適用tinyML的TensorFlow Lite Micro ML框架；EFR32xG24並具有內建ML硬體加速器子系統，可將執行AI推論(inference)的性能提高四倍，功耗降低六倍。ML解決方案讓設計人員在需要超低功耗的無線物聯網設備中，可增加AI/ML應用。

Daranyi表示，當物聯網終端產品要加入AI/ML功能，客戶除了要選擇MCU/處理器執行AI/ML工作負載，也要在功能需求與安全性、可負擔性、複雜性和運算間取得平衡。從調查結果顯示到2027年tinyML設備出貨量將成長到30億台、年複合成長率達30%的結果，tinyML的市場確實已在逐漸興起。對MCU來說，如果要因應AI/ML功能需求，接下來會需要更高的執行效率。

目前包括視覺辨識、智慧攝影機、監控、語音指令，或是工廠中物件偵測、良率判斷、異常偵測、震動偵測等，諸如此類邊緣端的應用，皆被認為可能是tinyML的機會。其中又以視覺辨識跟語音辨識，發展最為快速，且或許已悄悄進入我們的生活。比如，像我們喊出「OK Google」詞彙喚醒Android裝置，就是仰賴語音喚醒偵測的ML模型，搭配數位訊號處理器實現類似tinyML概念的應用。

黃晏祥指出，像工業領域震動偵測的應用，是類似偵測機器震動的頻率、型態、模式等參數，輔以相關的演算法，即可預先診斷機器是否故障或者需要維修，也可應用在偵測產線的溫度等。若在前端即可有一些tinyML的能力，可以放入一些演算法，將資料即時的送到後端、或伺服器上，即時發出警訊，與物聯網做更緊密的結合應用。

此外，意法半導體(ST)亞太區資深產品行銷經理楊正廉指出，現在慢慢也有看到手勢偵測及語音辨識等應用，隨著判斷的內容越來越複雜，且大家追求更智慧化，傾向獨立在設備端就做完運算，減少後端負擔，並可即時做出反應，會需要更好的MCU。以ST來說M4到M7都有相關產品支應需求，也在針對運算效能持續優化。

tinyML發展飛快強化生態圈為業界共識

tinyML無疑為AI的應用帶來更多想像空間，一旦不一定需仰賴後端進行判讀，設備「AI化」的成本就有機會降下來，進而提升市場接受度，現在也確實看到越來越多的應用出現。但Gartner曾點出，即便2025年創新應用和產品服務都會朝邊緣運算靠攏，但現在的發展目前確實遇到挑戰，包括難以估計的投資報酬率、相關技術尚未完全成熟等。

黃晏祥也點出三大挑戰，其一是ML的運算模型較大，需要記憶體、flash、cache等依序展開進行處理，用在功耗及記憶體有限制的MCU上會是挑戰；再者，MCU大多以電池供電時，電力有限的情況下多少將影響效能；最後在軟體方面，各個MCU工具鏈不相容，現階段不容易在不同MCU間移植，也會對tinyML裝置未來的大佈建帶來考驗。

針對痛點，相關廠商已有陸續推出解決之道，比如軟體的移植問題，Arm就發表了Project Centauri，讓基於Cortex-M的MCU直接連到雲端，橫跨不同的雲、不同的Cortex-M產品，有標準的API進行跨平台移植，以求將軟體的問題以最快速度解決。

不過物聯網市場應用碎片化的特性，使得單一廠商想憑藉一己之力全面解決痛點、加速擴大市場，難度很高；因此「深化生態系」，以更緊密的合作共創商機和找尋技術突破口，也就成了業界相當重視的重要方向。

業界普遍認為，tinyML是相當接近邊緣端的應用，應用更加多元且發散，很多應用甚至要因地制宜，不再是以前大量或單一規格的產品就能通吃的市場，這就需要平台、生態圈的力量，才得以推著產業鏈和相關技術繼續前行。為此，tinyML基金會於2019年誕生，贊助商不乏高通(Qualcomm)、Arm、英特爾(Intel)、NXP、Silicon Labs、ST、奇景光電(Himax)等半導體大廠，即是希望用打群架的方式搶攻市場。