隨著 AI 及 IoT 技術的持續發展，邊緣裝置也日益精密複雜，從基本的資料收集器轉型成為即時決策系統。驅動此轉型的一項重要因素是採用大型語言模型 (LLM)，裝置因此得以在本機處理及分析資料。根據 IMARC Group 資料指出，2023 年的全球邊緣 AI 市場總額達 154 億美元，到 2032 年預計將快速成長至 709 億美元，複合年成長率為 18.5%。
蓬勃成長的需求也帶來了眾多挑戰，包括整合不同系統的複雜性、雲端型 LLM 的延遲，以及不斷上漲的硬體成本及維護成本。此外，更因為延遲及安全問題，使雲端型 LLM 在邊緣環境中無法有效發揮效能。為因應這些挑戰，DFI 與 Intel、Canonical 及其他主要合作夥伴共同開發了 DFI Workload Platform。這是一套結合多重作業系統架構，以及 x86 型邊緣 AI 運算應用程式的多功能創新解決方案，專為各種產業量身打造。
產業：智慧零售、智慧運輸、電動車 (EV) 充電、智慧工廠等
應用：智慧零售自助服務、機場自助服務亭、智慧 EV 充電站、智慧工廠組裝線、工業 AMR 等
解決方案：DFI Workload Platform
DFI Workload Platform 的主要特色包括：
- 邊緣 AI 驅動：裝置端大型語言模型 (LLM)
- Intel® 顯示晶片虛擬化技術：單一根 I/O 虛擬化 (SR-IOV)
- 簡化系統整合
- 成本降低及頻外 (OOB) 解決方案，能盡量縮短停機時間
- 能源效率及每瓦效能 (PPW) 提升
採用雲端型生成式 AI 解決方案的挑戰
隱私、資料安全及準確度
彭博社在 2023 年報導了一起安全漏洞事件，韓國一家領先業界的半導體公司發現，有名員工意外洩露敏感的內部原始碼，將其上傳到 ChatGPT。此類事件凸顯了雲端型生成式 AI 的隱私風險，也就是公司掌控上傳資料的能力受限。此外，AI 模型也常因「幻覺」(hallucination) 而產生不可靠或捏造的資訊，使資料安全性及準確度的確認工作變得更加複雜。
雲端型 LLM 的延遲
雲端型 LLM 需要在裝置與雲端伺服器之間持續傳輸資料，因此會產生延遲，尤其是遇到網路受限的情況。工廠自動化或自助服務亭等應用，只要即時回應出現短暫的延遲，就可能影響營運。
營運成本上升
採用 LLM 需花費大量成本，包括模型開發、語彙基元 (token) ，硬體、佈線及維護的營運費用。高效能運算 (HPC) 需求、資料擷取、儲存以及預處理，也更進一步增加了技術及財務負擔。雖然雲端解決方案具備可擴充性及彈性，但基礎架構擴充、維護及語彙基元累積使用量的長期相關花費，卻可能隨時間大幅增加。
能源效率不佳
雲端型 AI 架構的能源消耗量極為驚人，IDC 報告指出，AI 資料中心在 2023 年共消耗大約 400 太瓦時 (TWh)。顧能 (Gartner) 預測到了 2025 年，AI 消耗的能源可能比全人類勞動力消耗的能源還多，凸顯出雲端型 AI 系統面對的永續發展挑戰。
DFI Workload Platform 技術：強化邊緣 AI 驅動應用
DFI Workload Platform 以 Intel x86 架構為建置基礎，能有效因應邊緣 AI 部署的眾多挑戰，經過訓練的 AI 模型及軟體可直接部署到平台上，甚至可跨多重作業系統進行部署。這個邊緣型解決方案除了可提高能源效率、成本效益及安全性，同時也能確保即時效能，非常適合需要快速回應的高效能邊緣應用。
由 SR-IOV 加速的多重作業系統架構
DFI Workload Platform 運用最新的 Intel 虛擬化技術，克服虛擬機器管理程式 (hypervisor) 的舊有延遲問題，並提供即時的多重作業系統平台。其將運算、儲存及網路資源整合至單一系統中，利用 Intel iGPU SR-IOV，在多個虛擬機器之間高效分配 GPU 資源。最佳化設定讓各種應用程式 (連同 AI 驅動的應用程式) 能夠在虛擬機器管理程式上穩定並即時執行。
值得一提的是，DFI 是第一家在實際應用中成功採用 SR-IOV 的 IPC 製造商。
DFI Workload Platform 與 Intel、Canonical 及其他重要合作夥伴協力確保廣泛的作業系統相容性，同時支援 Windows、Ubuntu、Android 及 Linux。高彈性不僅提升了可用性，也進一步提升穩健的系統安全性，在各種邊緣運算情境下皆能適用。
以 Intel® Arc™ 顯示晶片為基礎的即時裝置端 LLM
DFI Workload Platform 將大型語言模型 (LLM) 整合為裝置端 LLM，可直接在本機的邊緣裝置上進行 AI 推論及運算，達成高效能且低延遲的作業。這個平台完整發揮 Intel® Arc™ GPU、Intel® Core™ 處理器及 OpenVINO™ 工具套件的強大組合效能，使硬體達到最佳效率。藉由用於 Intel® Arc™ GPU 最佳化的 OpenVINO™ 工具套件，複雜的 LLM 可在不到 6 GB 的記憶體容量下運作，同時將密集型 AI 任務卸載到 GPU，將回應時間縮短高達 66%，並支援多個並行的工作負載。多個 LLM 驅動的自助服務應用程式，可搭配虛擬化技術及互動式數位看板，在跨多重作業系統的單一裝置中流暢運作，提供互動式的使用者體驗。這種創新的方法重塑了邊緣 AI 運算產業，提供高度個人化、增加參與感並創造收益的體驗。
透過 DFI 的 EV 充電站成功案例，瞭解更多適用於邊緣的 Intel® Arc™ GPU 的資訊。
由於所有 AI 處理全都在同一部邊緣裝置上進行，因此裝置端 LLM 非常適合應用在零售商店、自助服務終端及 EV 充電樁等各種極度重視資料規模及安全性的應用情境。裝置端 LLM 能夠透過特定應用的資料及訓練模型，最佳化每個情境中的效能，同時將對大量資料庫的需求降到最低，進而縮短延遲並強化資料隱私，在處理敏感客戶資訊時尤其重要。這種可調整的設計有利於針對各種應用量身打造即時的 AI 處理。
Intel® OpenVINO™ 工具套件是實現終端使用者系統及裝置端 LLM 最佳化及部署的頂級解決方案，能讓開發人員壓縮大型模型，將其流暢整合到 AI 驅動的應用程式中，並部署在邊緣裝置上以發揮最佳效能。這確保能夠完成高效且高速的推論，非常適合需要即時 AI 功能的應用程式。
DFI 的豐富整合經驗
DFI 至今已順利在亞太地區的各種應用場合之中實作 DFI Workload Platform，包括：
將多種功能整合到單一 DFI 的系統中，包括透過電腦視覺進行臉部辨識、數位看板、智慧廣告、作為店內購物智慧助理 (IA) 的裝置端 LLM，以及自助結帳 POS 系統，用以簡化門市營運，改善智慧零售效率。
值得注意的是，DFI 也藉由將 DFI Workload Platform 概念整合到智慧型 AI 零售資訊站中，榮獲了 2025 年台灣精品獎。
裝置端的 LLM 可作為旅客資訊查詢的工具，快速提供航站設施指南及即時登機資訊，以及數位看板與人流監控等電腦視覺，DFI 的單一嵌入式系統為所有功能提供技術支援
整合數位支付系統、數位看板及 LLM 技術，讓使用者能流暢探索周圍的服務及資訊，同時運用 DFI 的 Mini-ITX 工業主機板。
利用多重作業系統架構，在 x86 裝置上流暢整合機器視覺、運動控制、機器人控制器、同時定位與地圖構建 (SLAM) 、飛時測距 (ToF) 等各種應用，並善用 DFI 的單板電腦提高工業 AMR 運作效率。客戶選擇我們的解決方案，是因為能大幅降低總擁有成本。
以上各情境皆使用 DFI Workload Platform 滿足客戶多樣化的應用需求。
DFI Workload Platform 的優勢
簡化的系統整合
多重作業系統架構可透過支援多種作業系統，簡化系統整合。在需要整合多個應用程式系統時，能減少相關障礙，省下大量時間及精力，建立能夠容納所有連接應用程式，並能流暢運作的統一平台。
成本效益及最短的停機時間
將多重應用程式整合到單一 x86 裝置上，大幅減少必要硬體元件的數量，因此能顯著降低 TCO。將多重裝置整合至單一硬體單元，可大幅降低相關隱性成本 (例如佈線、交換機費用，以及營運及維護成本)。藉由加速虛擬 LAN 效能及共享記憶體存取，應用程式也可享有運算效率提升的優勢。另外，使用裝置端 LLM 有助於節省雲端型 LLM 的相關高昂成本，從此不再需要支付昂貴的高頻寬資料傳輸及無法中斷的雲端服務訂閱。
此外，DFI OOB 解決方案還能搭配 DFI Workload Platform 使用，透過遠端管理裝置，降低裝置的管理成本。其能在邊緣裝置無回應或關閉時，進行遠端電源控制，支援 BIOS 更新，而且能在系統重新啟動之前，分配開機分割區以切換作業系統，將停機時間減到最短。
提高能源效率並最大化每瓦效能
DFI Workload Platform 不只能最大化裝置利用率，也能改善每瓦效能 (PPW)。儘管 ARM 架構的 NXP i.MX8 系統以高能源效率著稱，但根據 PPW 測試結果，相較於同時運行四個 ARM 架構 NXP i.MX8 系統，採用 x86 架構的 EC70A-TGU-i7-1185GRE 系統運行四個虛擬機器的功耗更低，基於透過 GeekBench 5 測試，x86 平台單核心和多核心得分分別為 108 和 125，而 ARM 平台僅為 20 和 68，充分展現了 x86 架構結合 DFI Workload Platform 的卓越能源效率潛力。
AI 驅動的價值創造及收入增加
擁有強大的多重作業系統架構及裝置端 LLM，能為各種產業帶來價值及商機。有了裝置端 LLM，裝置將能根據特定情境，為客戶或員工提供個人化及客製化的資訊。以智慧零售及智慧工廠為例：
智慧零售
AI 驅動的電腦視覺可即時識別客戶，例如識別臉部、年齡或性別等特徵，還能使用內容管理系統 (CMS) 及裝置端 LLM 向 VIP 提供個人化的廣告及獨家優惠，提升購物體驗。
智慧邊緣型系統提供 AI 驅動的語音互動，可幫助客戶進行產品查詢、店內導航及自助結帳，因此能減少對員工的依賴並提高服務效率。
零售商可以利用電腦視覺與 DFI Workload Platform 快速分析庫存及銷售趨勢，進一步迅速調整產品的展示與促銷策略，提高銷售效率。
在本機處理電腦視覺及客戶行為資料，能強化隱私，降低雲端資料傳輸風險，進而提高客戶信任感。
智慧工廠
在單一裝置上整合多重應用程式，免於依賴多部裝置，減少勞動力及營運成本，同時提高效率，尤其是在重工業組裝環境中的 AMR 應用。
裝置端 LLM 可作為智慧助理，協助工作人員搜尋與生產相關的資訊及內部資訊，例如 SOP、公告、產量等。因為所有作業都在裝置本機進行，工作人員也能透過語音命令管理生產計畫，同時確保資料安全。
在製造環境中，經過訓練的裝置端 LLM 可即時識別潛在的風險及問題，幫助供應鏈實現最佳化作業。由於所有資訊全在本機處理，敏感資料保密且安全。
運用邊緣 AI 資料分析系統，即時監控設備效能，並使用歷史資料及機器學習模型預測潛在故障，進而主動維護，將停機時間降到最短。
結語：邊緣應用是未來趨勢
本文強調兩個關鍵概念：透過 DFI Workload Platform 實現的創新邊緣 AI 運算方法，以及裝置端 LLM 的關鍵角色。
在這個運算效能就如同新型態石油的年代，邊緣 AI 運算變得至關重要。Nvidia 近期市值大幅上漲，反映運算能力的市場需求大幅增加。然而，如前所述，運算需求的增加也代表成本的上升，因為使用者增加也會帶動費用提高。在 x86 生態系統中，DFI 與 Intel 及其他主要合作夥伴建立了長期的合作關係。透過此次合作，DFI 運用虛擬化技術強化其 Workload Platform，並與客戶在各種創新專案中進行積極互動。
為了滿足日益成長的 AI 及 IoT 需求，DFI Workload Platform 利用裝置端 LLM 及多重作業系統架構大幅改變了邊緣 AI 運算。在單一 x86 裝置上可執行多個應用程式或軟體，為零售、商店及智慧製造等產業開創嶄新商機並提高營運效率。邊緣 AI 市場預計將大幅成長，組織若有意提高市長競爭力，DFI Workload Platform 等解決方案將會成為關鍵。
DFI 為全球嵌入式主機板及工業電腦領導品牌，憑藉在嵌入式系統領域超過 40 年的專業知識，專精於邊緣 AI 運算，並運用廣泛的經驗設計及開發量身打造的高效能硬體解決方案，滿足現代產業不斷演進的需求。我們的解決方案確保裝置能夠在邊緣環境中流暢整合，達成卓越的效率及可靠性。藉由 DFI Workload Platform 以及 DFI OOB 解決方案，硬體與 AI 應用程式得以流暢協作，協助客戶實現尖峰效能以及卓越的營運。
下載DFI成功案例
