Back

MSI High-Efficiency Mode 實測:釋放地端大型語言模型(LLM)的 AI 運算效能

Motherboards

最大化本地大型語言模型 AI 性能

隨著 AI 應用日益普及,運算效能也成為關鍵。升級硬體固然能提升 AI 效能,卻往往伴隨額外成本。為了找出更具成本效益的優化方式,我們進行實際效能測試,發現只需調整 MSI BIOS 內建的記憶體超頻功能 High-Efficiency Mode(高效率模式),便有機會在不添購硬體的情況下,優化 DDR5 記憶體效能,進一步加速大型語言模型(LLM)的運作。

AMD 與 Intel 平台實測:提升 Token、縮短回應延遲

在搭載 AMD Ryzen™ 9 9950X3D2 處理器的測試平台上,將 DDR5 記憶體超頻至 8000 MT/s,並啟用 High-Efficiency Mode 後,AI 運算效能最高提升 32%。

吞吐量(Tokens/s):我們以多款顯示卡搭配不同記憶體設定進行測試,比較 AI 每秒可產生的 Token 數量。Token 是 AI 處理文字的基本單位之一;Token 數值越高,代表文字生成速度越快。

相較於預設設定,RTX 5080 16G 與 RTX 5070 12G 在記憶體超頻至 8000 MT/s 後,效能均提升 21.4%;進一步啟用 High-Efficiency Mode,整體提升幅度達 32%。RTX 5070 Ti 16G 在記憶體超頻後提升 17.6%,搭配高效率模式後,總增幅進一步達到 26.8%。

啟用高效模式

首個 Token 生成時間(TTFT,Time to First Token):指從送出提示詞到 AI 產生第一個 Token 所需的時間,數值越低,代表回應越迅速。測試顯示,將記憶體超頻至 8000 MT/s 並啟用 High-Efficiency Mode,可有效縮短等待時間。以 RTX 5080 16G 為例,單純超頻可縮短 6.3% 的等待時間;進一步啟用高效率模式後,相較預設設定,延遲降低 12.7%。RTX 5060 Ti 16G 的降幅更達 14.5%。

TTFT(首個權杖時間)

在搭載 Intel Core Ultra 7 270K Plus 處理器的測試平台上,High-Efficiency Mode 帶來的效能增益更為顯著,最高可達約 43%。

Token:將記憶體超頻至 8000 MT/s 後,RTX 5080 16G 與 RTX 5070 Ti 16G 的效能分別提升 25.7% 與 24.9%;再啟用 High-Efficiency Mode,相較預設設定,Tokens/s 分別提升 43.5% 與 42.4%。RTX 5070 12G 單靠記憶體超頻即可提升 17.8%,搭配高效率模式後,增幅超過 30%,顯示透過 BIOS 設定優化,也能進一步發揮既有硬體的效能潛力。

吞吐量(Tokens/s)

首個 Token 生成時間(TTFT):
僅將記憶體超頻至 8000 MT/s 時,所有受測顯示卡的延遲降幅皆不到 10%;搭配 High-Efficiency Mode 後,各款顯示卡的 TTFT 均進一步縮短。其中 RTX 5070 12G 的改善最為明顯,延遲降低 15.9%;RTX 5080 16G 與 RTX 5070 Ti 16G 也有顯著改善。

首個 Token 生成時間(TTFT)

不少使用者在完成電腦組裝後,會直接沿用 BIOS 預設設定。這些設定雖足以應付日常使用,但透過適當調整,仍有機會進一步釋放硬體效能。MSI 經過內部測試與驗證,提供操作直覺的 BIOS 預設選項,協助使用者輕鬆優化記憶體參數,同時兼顧系統穩定性。

想提升地端 AI 與大型語言模型(LLM)的執行效率,不一定需要立即升級硬體。只要進入 MSI BIOS,透過幾個簡單步驟啟用 High-Efficiency Mode,就能在不增加硬體成本的情況下,進一步提升運算效能。

測試方法與硬體配置

  • 使用 LM Studio 載入大型語言模型 Gemma 4 26B A4B;上下文長度設定為 8192,GPU Offload 維持預設值(RTX 5090 為 30,其餘顯示卡為 19)。
  • 測試提示詞:提供一則 部落格文章網址,請模型產生內容摘要。
  • 設定三組測試條件:(1)預設設定,記憶體速度為 4800 MT/s;(2)將記憶體超頻至 8000 MT/s;(3)記憶體超頻至 8000 MT/s,並啟用 High-Efficiency Mode(AMD 平台採用 Tighter 模式)。
  • 記錄 LM Studio 顯示的 TPS(Tokens/s,每秒 Token 數)與 TTFT(首個 Token 生成時間)。

處理器:AMD – Ryzen 9 9950X3D2/Intel – Core Ultra 7 270K Plus
主機板:AMD – MEG X870E ACE MAX/Intel – MEG Z890 ACE
系統記憶體:ADATA 24GB × 2 DDR5
顯示卡:
MSI GeForce RTX™ 5090 32G SUPRIM SOC
MSI GeForce RTX™ 5080 16G Gaming Trio OC
MSI GeForce RTX™ 5070 TI 16G Inspire 3X OC
MSI GeForce RTX™ 5070 12G Shadow 3X OC
MSI GeForce RTX™ 5060 TI 16G Shadow 2X OC PLUS

如何在 MSI BIOS 中啟用 High-Efficiency Mode

AMD 平台:
  • 開機時連續按下 Del 鍵,進入 BIOS 設定介面。
  • 按下 F7 切換至進階模式(Advanced Mode),再進入 OC 選單。
  • 確認 EXPO 或 A-XMP 已啟用。
  • 找到 High-Efficiency Mode,並設定為 Enabled(啟用)。
  • 啟用後,下方會顯示 Memory Timing Preset(記憶體時序預設)選項,可選擇 Relax、Balance、Tighter 或 Tightest。本篇測試使用 Tighter 模式。

如何在 MSI BIOS 中啟用High-Efficiency Mode

AMD 平台

Intel 平台:
  • 開機時連續按下 Del 鍵,進入 BIOS 設定介面。
  • 按下 F7 切換至進階模式(Advanced Mode),再進入 OC 選單。
  • 確認 XMP 已啟用。
  • 找到 Memory Extension Mode,並選擇 High-Efficiency Mode。

Intel 平台

Subscribe to Our Blog

Stay up to date with the latest hardware,tips and news

Please check the box if you would like to receive our latest news and updates.By clicking here, you consent to the processing of your personal data by [Micro-Star International Co., LTD.] to send you information about [MSI’s products, services and upcoming events]. Please note that you can unsubscribe from the MSI Newsletters here at any time.

Further details of our data processing activities are available in the MSI Privacy Policy