Qwen3.8-27B 本地部署：顯存、量化檔大小與 Saluki 2-bit 版評價
一句話結論
Qwen3.8-27B 是 Apache-2.0 的 27B 密集模型，4-bit 量化檔約 17GB，24GB 顯卡是公認的舒適區；10/8 發表的 Saluki 把它壓成約 2-bit、單檔 7.89GB，官方宣稱平均保留 96% 跑分，但同一份模型卡的表格顯示數學與長推理類項目掉得明顯。本頁的實測數字大多出自 8 月的文章，窗口內（9/25–10/9）的新資訊主要是 Saluki。
官方說法
Qwen 官方模型卡：27B 參數（Hugging Face 中繼資料顯示 BF16 約 28B）、64 層、Gated DeltaNet 與 Gated Attention 混合架構、含視覺編碼器與多 token 預測（MTP）；上下文原生 262,144 token，可用 YaRN 延伸到 100 萬；授權 Apache-2.0。官方自報成績包括 Terminal Bench 2.1 為 73.0、SWE-bench Pro 為 61.7、GPQA Diamond 為 89.2。其他自報成績有 HLE 30.8、LiveCodeBench v6 為 90.3、OSWorld-Verified 為 84.3。上個月下載量約 678 萬次、讚數 1.73 萬。官方建議的取樣設定在思考模式為溫度 1.0、top_p 0.95、top_k 20。頁面沒有寫顯存需求。[1]
顯存的參考值來自 GGUF 製作方 Unsloth（不是 Qwen 官方）：總記憶體（RAM 加 VRAM 或統一記憶體）1-bit 約 7–8GB、2-bit 9–11GB、3-bit 12–14GB、4-bit 16–19GB、6-bit 23–26GB、8-bit 31GB、BF16 56GB；開 MTP 要多留 1–2GB；預設推理強度為 xhigh，可用參數降到 medium 或 low。[2][3]
Saluki 的官方資料（Conway Research 的模型卡）：主檔 IQ2-mix 為 7.89GB，視覺附加檔 629MB 到 928MB，原版 Qwen3.8-27B 為 54GB；Apache 2.0；用一般 llama.cpp 指令 -ngl 99 -c 32768 即可跑。模型卡沒有寫明確的顯存或記憶體需求。自承的弱點：競賽數學只保留原版的約 82–85%，字母層級的指令謎題較弱，平行工具呼叫約五分之一有格式小錯，開啟思考時常先長篇推理。[5]
各語言圈怎麼討論
| 語言圈 | 找到幾則 | 主要聲音 | 代表來源 |
|---|---|---|---|
| en | 6（窗內 2） | 4-bit 在 24GB 卡可用；2-bit 以下品質明顯下滑；預設推理太愛想 | [4][5][9][11][12] |
| zh-CN | 5 | Saluki「縮成 1/7 仍接近」的轉述與小樣本自測；本地執行代理的心得 | [6][7][8][10][14] |
| ja | 2 | 只找到 Unsloth 日文文件與一篇發布前的顯存估算，沒有個人實測 | [3][13] |
| zh-TW | 0 | 搜尋「本機 部署 顯卡 量化 心得」只得到英文指南的彙整，沒有原創繁中文章 | 無 |
英文圈：Quesma 在 8/26 用 llama.cpp 實測量化梯度：BF16 約 55GB、Q8_0 約 29GB、Q4_K_M 約 17GB 在 GPQA 與 IFBench 沒有可量到的下降，Terminal-Bench 2.1 也與 BF16 持平；UD-Q2_K_XL 約 10.7GB 在 Terminal-Bench 有明顯下降；1-bit 的 UD-IQ1_S 約 6.2GB 的 GPQA 低於隨機。作者結論是 Q4_K_M 是甜蜜點，在 24GB 的 RTX 4090 上約可放 64K 上下文。[4] Hacker News 的 8 月討論串：有人在 4090 用 Q4_K_M 跑 llama.cpp 約 48 token/s，也有人說比 Qwen 3.6 慢，多人抱怨預設會過度思考；密集 27B 比 35B-A3B 的 MoE 慢很多，但不少人認為 27B 在程式碼與代理任務更好。[11] 一篇 16GB RTX 3080 的教學用 UD-IQ3_XXS，約 20–30 token/s，Q5_K_M 因為放不進顯存只剩約 1.5 token/s；作者把 KV 快取量化成 q4_0 後上下文可拉到 128K 以上，並說 MTP 只有小幅加速、還會多吃顯存，自述沒有察覺明顯品質下降但承認可能存在。[12] Quesma 另外量到 KV 快取以 F16 計約每 32K token 2.3GB，所以長上下文要把這塊另外算進顯存預算。[4]
簡中圈：Saluki 發布後，有轉述稱「檔案從約 54GB 壓到 7.89GB，官方稱可在 16GB 記憶體的筆電執行」，並提到工具呼叫小樣本自測 88/120 對完整精度的 84/120，同時提醒「它仍是 27B，縮小的只是檔案體積」。[6][7] 另一則貼文稱 Saluki 大小只有 Qwen 3.8 的 1/7、性能接近，但沒有附任何分數。[8] 另有使用者回報用 Qwen 3.8 27B 搭配規劃者與執行者分工做電腦操作，思考時間比 Opus 5.5 少一半以上，自述尚未最佳化推理效率。[14]
日文圈：Unsloth 日文文件與英文版的記憶體表一致。[3] 一篇 8/12 的日文顯存估算文章是模型釋出前、由 Qwen3.6-27B 外推的數字（Q4_K_M 約 16GB、Q6_K 約 21GB），文章自己標明不是官方規格，不能當實測。[13]
繁中圈：查了繁中關鍵字（本機、部署、顯卡、量化、心得），沒有找到繁中原創實測。
官方 vs 實際
| 項目 | 官方說 | 社群/第三方看到 | 來源 |
|---|---|---|---|
| 4-bit 大小 | Unsloth：4-bit 需 16–19GB | Quesma 量到 Q4_K_M 檔約 17GB，24GB 卡約 64K 上下文 | [2][4] |
| 保留跑分 | Saluki 平均保留 96%（9 項） | 模型卡表：AIME 2025 為 79.2 對公開值 96.7、MuSR 67.5 對 79.6；模型卡註明公開值來自不同測試框架 | [5] |
| 工具呼叫 | Saluki 88/120 勝過原版 84/120 | 這是廠商自建的 120 題，思考關閉、溫度 0；SWE-bench Verified 50 題為 30 對 33 | [5][6] |
| 2-bit 品質 | Saluki 稱 2-bit 仍保留 96% 跑分 | 另一個 2-bit 類的 Q2_K_XL（10.7GB）在 Terminal-Bench 有明顯下降 | [4] |
| 推理強度 | 預設 xhigh | 8 月討論串有多人說預設過度思考，可降到 medium | [2][11] |
適合誰、不適合誰
- 24GB 顯卡（3090、4090 等）：選 Q4_K_M，約 17GB 檔案、約 64K 上下文，品質接近原版。[2][4]
- 16GB 顯卡：IQ3_XXS 約 20–30 token/s，但是單一使用者的回報。[12]
- 16GB 記憶體的筆電：Saluki 7.89GB 是目前能放得進去的選項，官方稱可行，但我沒有看到獨立測速或記憶體實測。[5][6]
- 要穩定跑長鏈推理、競賽數學：不要用 2-bit，Saluki 自承只保留 82–85%。[5]
- 想先用現成設定少調參數：照 Unsloth 的建議，思考模式用溫度 1.0，需要快速工具呼叫時可關閉思考並把溫度設 0，這是 Saluki 模型卡的設定。[2][5]
- 需要速度的場景：密集 27B 比 35B-A3B 慢很多，社群回報差距可達數倍。[11]
時間線
- 2026-08-14：HN 的 Qwen 3.8 27B 討論串最早留言；Unsloth 文件 8/19 更新 Dynamic V3.0。[2][11]
- 2026-08-26：Quesma 量化實測。[4]
- 2026-10-07：Underdog 本地助手邀請制測試版報導（Mac 與 Windows 11，27B 微調自 Qwen3.8），未列硬體需求。[10]
- 2026-10-08：Underdog 官方 X 發布 Saluki（台灣時間上午）；稍後簡中圈轉述與自測。[6][7][8][9]
- 2026-10-09：我查詢時尚無 Saluki 的獨立評測。
還沒查到的
- Saluki 的獨立評測、實際記憶體與 token 速度：模型卡沒寫，也沒找到第三方。
- 事件記憶裡「比 35B 少花 22%–33% token」的說法：我找不到可點的原始來源，也沒找到與 35B 直接比較 token 用量的測試；這個數字不採用。
- Artificial Analysis 對 27B 與 35B 的分數在不同頁面不一致，未採用。
- r/LocalLLaMA 原帖：工具擋住，沒讀到。
- 繁中原創實測與日文個人實測：搜尋後都沒有。
- 官方 underdog.ai/saluki 頁面回 403，改讀 Hugging Face 模型卡。
來源
- Hugging Face（Qwen 官方） — Qwen3.8-27B 模型卡 — https://huggingface.co/Qwen/Qwen3.8-27B — en
- Unsloth — Qwen3.8 本地執行指南（記憶體需求表） — https://unsloth.ai/docs/models/qwen3.8 — en
- Unsloth 日文文件 — Qwen3.8 メモリ要件 — https://unsloth.ai/docs/jp/moderu/qwen3.8 — ja
- Quesma — Qwen3.8 27B quantizations benchmarked — https://quesma.com/blog/qwen38-27b-quantizations-benchmarked/ — en
- Hugging Face（Conway Research） — Underdog Saluki 27B 1.0 模型卡 — https://huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0 — en
- X 貼文 — Saluki 54GB 壓到 7.89GB 與 16GB 筆電說法 — https://x.com/lencx_/status/2108176962837463386 — zh-CN
- X 貼文 — Saluki 工具呼叫 88/120 小樣本自測 — https://x.com/billmengbi10298/status/2108213638083584419 — zh-CN
- X 貼文 — Saluki 27B 大小為 Qwen 3.8 的 1/7 — https://x.com/BlockInsight214/status/2108190516630393067 — zh-CN
- Underdog 官方 X — Saluki 27B 發布貼文 — https://x.com/underdogdotai/status/2108021482983133395 — en
- Digital Today 簡中版 — Underdog 本地 AI 助手測試版報導 — https://www.digitaltoday.co.kr/cn/view/111391/subscription-and-ad-free-local-ai-assistant-underdog-launches-revenue-to-come-from-payment-fees — zh-CN
- Hacker News — Qwen 3.8 27B 討論串（8 月） — https://news.ycombinator.com/item?id=49299605 — en
- The Autodidacts — How to fit Qwen3.8-27B into 16GB of VRAM — https://www.autodidacts.io/how-to-fit-qwen3-8-27b-into-16gb-vram-run-with-llama-cpp-rtx-3080-flags-quantizations/ — en
- OrcaRouter 日文版 — Qwen3.8-27B VRAM Requirements（8/12，發布前估算） — https://www.orcarouter.ai/ja/blog/qwen-3-8-27b-vram-requirements — ja
- X 貼文 — Qwen 3.8 27B 用於電腦操作、思考時間少於 Opus 5.5 — https://x.com/realWeZZard/status/2108209984341475525 — zh-CN