站穩智慧運算的設計制高點開拓AI版圖
專訪創鑫智慧董事長、營運長與事業開發經理
AI浪潮衝向全球，台灣新創公司創鑫智慧（NEUCHIPS）錨定智慧運算版圖的制高點，善用台灣的晶片設計優勢，以AI加速器的矽智財為錨地，成功開發出AI在不同特定應用的運算引擎與骨幹架構，並鏈結從雲端到邊緣的智慧運算解決方案，致力為台灣半導體業測繪出一條創新的智慧航道。
觀察目前科技的最新動態，不難發現人工智慧（AI）浪潮不僅持續推進關鍵的技術發展，今年的新冠肺炎疫情更促使各產業全面加速轉型，如今的AI發展，正顯見地推升至技術推廣與應用落地的競爭尖峰，智慧商機瞬間風起雲湧。
現在，就是科技產業要角各自定位這波趨勢是危機還是轉機的時刻。但開發AI的目標是什麼？創鑫智慧（NEUCHIPS）董事長暨執行長林永隆指明：「所有AI都一樣，當運算量很大的時候，要在一定的時間內完成，準確度要達到一定水準，耗的能量要越少越好，不然很多商業都無法運行。」
實現智慧普及化，就是目前全球AI技術發展的共同目標之一。台灣也不例外，科技部於2018年啟動了半導體射月計畫，目標是透過彙整台灣半導體領域的產官學資源，集中發展人工智慧終端（Edge AI）的核心技術。
創鑫智慧就是這項計畫的參與要角，他們鎖定了特定應用領域對AI運算解決方案的開發需求，從IC設計開始部署台灣原生的AI創新技術，2020年更宣布進駐新竹科學園區，顯露在產業應用面上的穩健成長動能。
作為新創公司，以矽智財（IP）開發者的身分出場，不能不說令人耳目一新。創鑫智慧由董事長暨執行長林永隆領軍，因此公司發展與他在晶片設計上的深厚專業背景密切相關。
林永隆博士同時也是清華大學資訊工程學系的教授，除了長年專注在IC設計與設計自動化的研究與教學，更進一步觸及機器學習技術，甚至組織了來自IC設計領域且具備業界前沿開發經驗的新創團隊，他看準的，就是AI運算將會在未來科技發展扮演關鍵推手的角色。
「Intelligence Everywhere是創鑫智慧的成立宗旨，」林教授表示，「要實現智慧運算或是演算法有很多方法，隨著AI模型越變越大，對準確度的要求越高，運算需求也會越來越大。」因此，提升運算效率成了關鍵。
|
「實現智慧運算或是演算法有很多方法，提升運算效率，並控制整體成本，就是最好的AI運算。」—創鑫智慧（NEUCHIPS）董事長暨執行長林永隆
那要如何提升效率？林教授接著解釋，其實有很多方法，可以從演算法、運算架構、電路到系統優化，都有很多地方可以著手，所以要分析要從哪裡開始進行，並針對問題提出可能的方案，再去實驗、分析。
足見智慧運算解決方案的開發工作，茲事體大，創鑫智慧也在持續關注市場與不斷創新開發的歷程中，摸索出一些在AI市場的生存脈絡。
應用領航 智慧運算開發未盡
具備AI運算的核心技術，創鑫智慧現已開發出三大核心產品，佈局擴及邊緣到雲端環境，目標應用涉及聽覺與視覺處理，以及運算加速，分別是用於語音處理的AI加速器引擎RNNAccel、其獨家開發的開源CNN演算法架構HarDNet，以及能夠優化雲端推薦系統的AI加速器引擎RecAccel。
「RNNAccel能聽得更明白，HarDNet能看得更清楚，RecAccel能想得更透徹，這些是我們產品的核心價值。」營運長陳建良一言以蔽之，整體而言，AI的應用範疇（spectrum）很廣，除了鎖定與眼睛、耳朵與大腦直接相關的智慧運算方案，創鑫智慧仍在持續嘗試相關的可配置方案。
事業開發經理陳品函進一步解釋，要實現Intelligence Everywhere，他們先找到耳朵，以聲音來說，課題可以很廣，從抗噪、語音辨識到翻譯。
「而IC設計是我們在行的，」在論及AI技術開發時陳品函侃侃而談，「所以我們的第一個產品RNNAccel以硬體優化切入開發，而且AI的領域非常多，但最後還是要交給電腦運算，包含一些通用硬體，像是CPU、GPU，它們雖然有很大的彈性，但問題是針對特定應用時，能耗就會比較差。」
因此，創鑫智慧在開發初期就聚焦在加速特定AI應用的硬體運算效能。「最好是電池運作的，」陳品函補充，「這些應用要更省電、效率要更好。」從硬體優化的角度切入，創鑫智慧不僅能發揮在晶片設計的專長，還能依據不同應用設計出更有效率的IC，讓尺寸更小、能耗更小，進一步降低整體成本。
「AI應用的預算控制（within budget）很重要，」林教授指出：「這就包括購置、運算和時間的成本。」他以挖礦機為例，一開始用的是CPU，但太耗電，之後改用GPU，也太耗電，後來就設計了挖礦機專用的ASIC。
「AI運算也是一樣，辨識影像要耗多少電，或是一焦耳的能量可以辨識多少影像。控制好這些成本，就是最好的AI運算。」他直言。
以語音處理的邊緣裝置為例，像是智慧音箱（smart speaker）、助聽器、穿戴式裝置、主動降噪（ANC）耳機等。陳品函表示，要在這些裝置上執行深度學習推論，運用傳統規則式演算法，效果有限，AI演算法卻可以更快、更省電，節省的能耗多達70%。
此外，要將智慧運算普遍導入裝端裝置，除了電力，對記憶體也有相當的限制。陳品函表示，RNNAccel的關鍵技術就是他們團隊開發的壓縮技術NeuCompression，不僅壓縮效果能從2x、5.3x、8x到高達16x的比例，同時還能達成比目前其他現有方案還更優異的精準度，對記憶體的需求也變小了。
除了考量終端硬體的負載限制與控制整體成本，面對未來AI普及化的多元應用需求，還要取得在通用與客製需求之間的性能平衡，進而開發出最佳化的智慧運算解決方案，這也會是產品開發的重要考量。
「AI是應用導向，該精準就精準，」陳品函舉例，例如ADAS對性能要求就比較嚴苛（critical），運算要跑得比車還快，該煞車就要煞車，但消費性應用就可以採用小模型，例如抗噪耳機。
|
「當未來AI真的無所不在的時候，其實整體來說，AI的精準度還是需要考慮的，怎麼去取捨，就要看個別應用對精準度的需求。」她說道。
IC設計是起點 卻不是終點
作為新創公司，本身在開發的時候就是挑戰，也有風險。但為何首先開發人工智慧IP，進入這塊高成長卻也高競爭的市場？
陳建良回應：「以早期發展來說，我們會希望以核心技術很快地進入市場，所以利用IP來推廣我們的核心技術。」但不同階段公司會有不同的規劃和發展，會隨著時空和環境調整，他也補充。
以IP模式經營，一般首先會想到的就是Arm，它是發展得相當成功的典範。陳品函則點出另一項關鍵：「我們初期沒有開發自己的IC，利用IP的形式設計產品，我們可以把AI當作基準，從應用演算法、到架構、到運算硬體著手開發，再把整體的解決方案進一步精簡，面對問題，我們也有能力從頭想到尾。」
談到完整的智慧運算解決方案，陳建良指出：「和台灣業界不一樣的地方，是我們有自行開發的HarDNet演算法，很多產業夥伴的演算法都來自他人的演算法，例如SDD-VGGNet或ResNet等，但那樣開發只能做到加速，不能改善，我們從核心技術紮根，所以可以從演算法、軟體到硬體架構進行改良，全面提升運算效能。」
另一方面，他也指出，在應用面，國內業界多半都在談AIoT、邊緣裝置端，非常少的團隊在討論雲端和資料中心的運算，這也反映他們觀察國內外市場在AI運算的開發需求上呈現出的差異。
「台灣很多在做高階手機，還有MCU，這些應用對AI的要求等級就會和其他應用很不一樣，」陳建良表示：「國外會做『微型智慧運算（Tiny ML、Tiny AI）』，這些運算模型被大幅簡化，好處是運算量非常低，所以電池和使用場景會非常不一樣，而美國矽谷在AI領域還是位居世界領導地位，所以比較強調高速運算、高精準度。」
洞察AI運算需求的市場差異性，創鑫智慧在2019年開發了第三款產品RecAccel，就是嘗試挑戰以資料中心應用為目標進行開發，期望將能加速雲端平台上的推薦系統效能。
「走一條和台灣現況不一樣的路，也是我們公司努力實現的目標，」陳建良表示：「傳統晶片和AI晶片供應鏈，在上下游的合作模式上會出現很大的差異。台灣的強項是快速晶片化、快速降低成本，對在世界各地快速普及技術有其貢獻。但在AI領域上，最大的不同是『演算法並不標準』，會根據使用場景進行調整，這對台灣來說，是非常不熟悉的IC開發方式。」
|
創新，是國外科技公司相對擅長的領域，而設計出新的規格和產品，可以創造新的產業價值。
林教授舉了個有趣的例子：「在家看電影你可以使用PC或筆電，也可以拿DVD播放機，但後者很便宜，因為它只能做一件事情。」
陳建良坦言，往價值創造的方向發展，我們往往相對猶豫，台灣公司在創新方面，很多時候因為一開始無法標準化、規格化，或在績效指標上有好的成效，所以可能會扼殺很多創新和機會。
但他也建言，台灣的步調雖然相對保守，業界也希望能一擊中的，找到好的商業模式就可以利用台灣的優勢繼續發展。而這也是創鑫智慧成立的自我期許，那就是創造價值，所以我們從根本的演算法開始改善，再來是持續強化運算效率。
目前台灣半導體製造業也在導入AI，陳建良表示，利用HarDNet架構進行智慧影像應用，以提升製程良率，並即時發現錯誤；業界也在成立AI技術的研究單位，朝向智慧演算的目標穩健發展。
結語
展望2021年，陳建良表示，後疫情時代將持續加速AI發展，尤其是遠距應用帶動的影像辨識需求，將繼續注入強勁動能。創鑫智慧目前仍專注在核心引擎的開發，並根據目標市場動態，切出最有利基的市場。
國際組織也持續致力於推廣AI與機器學習技術的開發與應用，創鑫智慧便加入了其中的開放工程聯盟MLCommons（最初成立名為MLPerf），共有多達50多家來自產學界的創始成員，包含Google、Facebook AI、Intel、Nvidia、阿里巴巴以及聯發科。值得注意的是，這些創始成員中有15家就是新創團隊，足見新興技術帶動的發展動能和開發誘因不容小覷。
另一方面，AI演算法突破了傳統以規則為基礎的模型開發模式，在越來越多的特定應用中展現出高精準又符合開發成本的高運算效能。為了在建構新一代運算生態系的過程中，持續強化並創造台灣的產業價值，創鑫智慧未來也將持續整合學界的創新技術與產業的研發和實務能力，讓智慧應用更加普及。
