Powered by
Middleware Platform
　
　
突破傳統 GPU 容量限制
獨家中介技術自動將運算負載轉移至 NVMe SSD，降低傳輸延遲，確保 AI 運行不當機。支援 100B+ 參數模型，且不必修改程式碼，無需額外添購記憶體。
8×
記憶體容量擴充
100B+
地端模型
無
程式碼修改
24×
回應速度更快
三層記憶體架構

aiDAPTIV™ 獨家技術 突破記憶體瓶頸

第一層 - 算力
GPU VRAM

算力調度層

VRAM 是速度最快，但也最受限的資源。在 aiDAPTIV™ 架構下，VRAM 只會存放「目前正在運算」的神經網路層與 Attention Heads，從而釋放出完整的 VRAM 來專注於純粹的運算。

負載飽和 - 運算中
第二層 - 緩衝
KV Buffer

高速傳輸層

這是關鍵的橋樑：aiDAPTIVLink 中間層會在這裡主動預載待處理的Tensor，並緩衝暫存的 KV 數據，在 GPU 進行動態運算時，將延遲降到最低。

背景預載
第三層 - Extension
aiDAPTIV™ 快取記憶體

無限儲存池

群聯電子的 FTL 技術是專門為 AI Tensor 的讀寫模式所優化。 未調用的模型參數與 KV Cache 都儲存在這，提供數 TB 級的邏輯 VRAM，徹底消除記憶體爆掉的問題。

深層儲存池
架構差異一覽

水平擴充 vs. 垂直擴充

傳統架構 – 水平擴充

GPU 叢集

建置成本USD $3M起
瓶頸頻寬（NVLink / IB）
挑戰GPU 閒置，運算資源未充分利用
VS

aiDAPTIV™ – 垂直擴充

AI

建置成本USD$50K
優勢PCIe NVMe 擴充
效益全面釋放算力效能
實測結果

模型高效訓練、推論速度快 25 倍

Training Time (hours) by Model Size

Single node, 4× GPU — aiDAPTIV™ vs. GPU-only

with aiDAPTIV™
GPU card only
Training Set Size
140 GB
260 GB
1,400 GB
Min GPU Count
aiDAPTIV™ / GPU-only
4 / 4
4 / 6
4 / 30

Scaling is linear based on GPU count and model size. Training based on 10M tokens.

Quicker Time to First Token for Faster Inference

aiDAPTIV™ vs. GPU card only — 8B model · hover dots for details

with aiDAPTIV™
GPU card only
Core Mechanisms

讓這一切成為可能的四大創新

1
無感攔截技術
aiDAPTIV™ 在最底層攔截 PyTorch 的記憶體配置器（Memory Allocator）。應用程式完全不需要修改任何程式碼—— 系統會在背景自動將記憶體配置導向至 SSD 儲存層，完全不需應用程式層的任何介入。
2
預測性預取技術
當 GPU 還在運算當前的Tensors時，aiDAPTIVLink 就能精準預測、並提前將下一個所需的模型分片從 SSD 串流傳輸到 VRAM 中。 這種即時數據交換機制，能有效防止 GPU 算力飢餓。
3
KV 快取優化技術
針對Long-Context的推理情境，運算好的 KV Cache 狀態會被持久化（Persisted）儲存到 SSD 中。 後續的查詢只需透過常數時間複雜度 (O)1 即可直接撈取－徹底消除 O(N²)的重複冗餘運算，帶來高達 10 倍的效能提升。
4
軟硬體協同設計
在持續的 AI Tensor工作負載下，一般標準固態硬碟的壽命會迅速衰退。從零打造全新的快閃記憶體轉換層（FTL）， Phison專門針對 AI Tensor 的資料移動行為，全面優化了回收與平均抹寫（Wear-Levelling）機制。
系統運行紀錄

當系統攔截到 OOM 時的運作流程

aidaptiv-tracer — tail -f /var/log/aidaptiv.log
打造企業主權 AI 架構
掌握自有算力，快速部署地端 AI