【高速運算應用-學研之星】TWCC助拳 創鑫智慧AI加速器解決方案嶄露頭角

創鑫智慧(NEUCHIPS)股份有限公司是技轉科技部「半導體射月計畫」成果衍生成立的公司。這家新創將「超低能耗深度學習加速器」順利轉變為矽智財(SIP)產品，受到產業界關注。最近該公司好消息頻傳，除了獲准進駐新竹科學園區設立辨公室之外，也在10月公布的MLPerf v0.7中嶄露頭角、更獲得知名IC設計公司採用其矽智財產品，預計推出整合該矽智財的智慧系統單晶片產品(AI SoC)，以滿足市場需求。

創鑫智慧的事業開發經理陳品函接受專訪時，揭露該公司三個主力產品線，加速了AI在聲音、影像、及推薦系統上的運算。第一個產品是RNNAccel，亦即前述的矽智財產品。該遞迴神經網路(RNN)加速器支援LSTM、GRU、FC、MLP，以及Vanilla RNN等神經網路。這類神經網路適合處理時間序列型資料，所以在主動抗噪(ANC)、心電圖(ECG)分析、異常偵測、及語音控制(Voice Control)等應用成效卓著。因此整合RNNAccel矽智財的晶片可應用在手機、智慧音箱，或是真無線藍芽耳機(TWS)等裝置，利用人工智慧強化聲音相關應用，取代傳統以規則為主(Rule-base)的解決方案。

創鑫智慧的RNNAccel產品內建專利壓縮技術，透過其開發工具，客戶能將神經網路模型進行壓縮，大幅降低記憶體需求，同時仍保有高準確度。除了壓縮技術之外，該產品也強調超低功耗。陳品函指出RNN是很耗費計算資源的模型，對客戶而言，只要使用ARM Cortex-M0等初階MCU，搭配RNNAccel就能執行人工智慧功能，讓客戶的晶片產品具有非常好的市場優勢。

第二項產品是HarDNet神經網路架構，這是基於CNN運算特性所設計的一個更快、更省電、更準確及更安全的神經網路架構。創鑫智慧與清大團隊2019年於ICCV會議上提出此架構，更被Papers-with-code網站評比為世界最先進的語意分割神經網路，尤其使用在物件辨識(Object Detection)、物件分類(Object Classification)、及多物件追蹤(Multiple Object Tracking)等影像應用上深具競爭優勢。除了將研究大方開源讓各方高手切磋外，創鑫智慧也提供HarDNet演算法、軟體、矽智財授權及顧問等服務。

第三個產品是RecAccel推薦系統加速器。源自於Facebook提出Deep Learning Recommendation Model (DLRM)，它適用於電子商務產品推薦、網路廣告、及多媒體內容推薦系統。

由於社群媒體與電商的快速發展，相關商品與用戶資料量成長驚人，每天超過300兆次推薦系統推論(inference)，而且數字仍持續成長，耗費大量的運算資源，同時電費成本水漲船高，不勝負荷，Facebook將其開源並在網路上廣邀英雄帖，期望能解決對應難題與挑戰。創鑫智慧第一時間便提出了硬體加速產品RecAccel來解決，並搭載在Intel Stratix 10 FPGA參加了第一屆的MLPerf Recommendation 項目來驗證此產品。值得一提的是，這個挑戰在時間嚴重壓縮下，只有創鑫智慧提出非CPU/GPU方案。

陳品函特別感謝各界夥伴的支持，尤其是國網中心TWCC高效能運算的服務，這個MLPerf的挑戰前後只有約八週的時間，在時程緊迫的壓力下，需要完成反覆的測試、驗證與跑分實驗，創鑫智慧使用TWCC的高效能運算、簡單易用的AI開發工具，以及多張V100 GPU運算資源，加速了實驗的收斂，最終才能如期完成任務。

由於台灣的伺服器供應鏈與生態系統在全球資料中心的市場上舉足輕重，未來對於Open Compute Project (OCP)的規格與支持具有強大的磁吸效應，商機無限。RecAccel前景有長足的發展機會，創鑫智慧也正積極擴充團隊，敬邀更多有志之士的加入一同加速成長，期望其能加值台灣的伺服器供應鏈，取得更好的市場地位，也同步成就創鑫智慧的光明未來。