Inkling 2 Mini 實戰:32GB Mac 跑得動的 Apache 2.0 coding 模型,SWE-bench Verified 79.2% 該怎麼讀、怎麼接

Thinking Machines 的 Inkling 2 Mini 用「迴圈中間層」把 20GB 權重跑出 48 層的推理量,官方表格 SWE-bench Verified(bash only)79.2%。這篇拆解架構、讀懂表格條件,並給接上 Claude Code/OpenCode 的步驟和五條護欄。

AI Academy 編輯部2026年11月22日

Thinking Machines Lab 在 2026 年 11 月 20 日放出 Inkling 2 Mini。它用 Apache 2.0 授權,權重約 20GB,官方說 32GB 記憶體的 Mac 就能跑。模型卡表格裡,它的 SWE-bench Verified 是 79.2%,比同表的 Qwen3.8-27B(77.8%)和 Gemma 4 31B(46.1%)都高。

這三件事合在一起,對用 coding agent 的工程師很有用:你可能第一次能在自己的筆電上,跑一顆在程式修 bug 基準上跟中型雲端模型差不多的本地模型,接進 Claude Code、OpenCode 這類工具,程式碼完全不用離開本機。

不過 79.2% 後面有個括號寫著「bash only」,模型卡也自己寫了幾條很直接的警告。這篇會講清楚它的架構怎麼做到「小記憶體、大運算」,表格要怎麼讀才不會誤判,然後給一套可以照做的本地接法,以及把它當 coding agent 用時該加的護欄。

先說清楚:本文的數字全部來自 Thinking Machines 的模型卡和官方部落格,屬於研究方自報。我們還沒有在自己的機器上實測,文中寫「值得實測」的地方就是我們還不知道答案的地方。

一、它要解決什麼:記憶體有限,但 agent 需要「想久一點」

本地跑 coding agent 最常卡在兩件事:

  1. 記憶體:模型權重要整個放進記憶體。30B 級的 dense 模型就算量化,放上 32GB 的 Mac 也很勉強,剩下的空間不夠放長對話的 KV cache。
  2. 推理深度:agent 任務要連續幾十步讀檔、改檔、跑測試,小模型常常在中途迷路、亂改,或在沒做完時就說做完了。

一般的做法是二選一:用大模型換能力,或用小模型換速度。Inkling 2 Mini 的做法是第三條路:權重做小,但讓每個 token 多跑幾遍中間層,用運算時間換推理深度,記憶體不用跟著變大。

二、運作原理:24 層權重跑出 48 層

Inkling 2 Mini 的迴圈架構:24 層分四塊,中間兩塊共用權重跑三遍

照官方部落格和模型卡的描述,架構有三個重點:

1. 迴圈中間層(looped transformer)

模型有 24 層,分成四塊、每塊 6 層。第一塊和最後一塊只跑一次;中間兩塊(共 12 層)共用同一組權重,每個 token 跑三遍。所以存的是 24 層權重,實際算的是 48 層。

為什麼迴圈的是中間層,不是最後幾層?部落格的說法是:前後的層主要在做「embedding 和內部表示之間的轉換」,中間層比較負責抽象推理。他們做了對照:迴圈中間 12 層,在 28 項評測裡有 27 項贏過迴圈最後 12 層;換算成等效運算量,中間迴圈的效益是 1.51~1.91 倍,最後幾層迴圈只有 1.24~1.36 倍。這個想法的前身是 2018 年 Dehghani 等人的 Universal Transformers,部落格也有引用。

另一個官方數字很能說明這個取捨:不迴圈的版本訓練成本少 7.5%,但在 512k token 的 agent 軌跡上要達到同樣的 loss,推理運算要多 140%。

2. 稀疏 MoE(混合專家)

每一層的前饋網路是 128 個專家,每個 token 只挑 8 個來算。總參數 26.4B,單次通過啟用約 3.4B;因為中間層多跑兩遍,每遍約多 1.0B,等效啟用量是 5.4B。所以 Ollama 頁面寫「26B 參數、5.4B active」,模型卡表格寫「5/26」,指的是同一件事。部落格也提到,專家數在中期訓練時從 384 個剪到 128 個。

3. 低精度權重

權重用 NVFP4(前 20 層)加 MXFP8(最後 4 層)混合存放,整份 checkpoint 約 20GB。這就是「32GB Mac 可跑」的來源:20GB 權重放進去,還留一些空間給系統和 KV cache。

對使用者來說,這個設計的意思是:它比同樣記憶體的 dense 模型更會想,但每個 token 也算得比較久。本地生成速度是我們最想實測的點,官方沒有給 Mac 上的 tokens/s。

另外,它支援文字和圖片輸入(圖片每邊 40~4096 px),context 上限標 1M token。但在 32GB Mac 上,扣掉 20GB 權重,實際能開多長的 context 官方沒寫,也值得實測,別預設本地就能塞 1M。

三、數據怎麼讀:79.2% 要看括號

SWE-bench Verified bash only 對照,以及強項、條件、弱項、風險

模型卡第 5 節有一張很大的對照表,跟 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B、Nemotron 3.5 Super VL 比。跟 coding agent 有關的幾列整理如下(全部是官方自報):

基準〔評測設定〕Inkling 2 MiniQwen3.8-27BGemma 4 31B
SWE-bench Verified〔bash only〕79.2%77.8%46.1%
SWE-bench Pro v2 Hard〔mini-swe-agent v2.4.6〕77.9%73.8%14.2%
SWE-bench Multilingual〔bash only〕73.7%70.0%43.0%
DeepSWE v1.1〔mini-swe-agent v2.4.6〕48.2%42.2%0.3%
Terminal Bench v2.1〔pi v0.83.0〕71.6%73.0%43.4%
Terminal Bench v4.0〔mini-swe-agent v2.4.6〕5.6%5.6%0.0%
MCP Atlas(Public)82.7%77.3%54.2%
ComplexConstraints v1.1〔openhands v1.45.0〕33.4%30.1%31.6%

讀這張表要注意四件事:

1. 「bash only」是極簡腳手架。 意思是模型只拿到一個 bash 工具,自己用指令讀檔、改檔、跑測試。這測的是模型本身的能力,不是它接在 Claude Code 或 Cursor 裡的表現。換到功能更多的工具裡,分數可能更高也可能更低,工具定義和 system prompt 都會影響結果。

2. 官方自己寫了「評測設定因模型而異」。 部落格明講 evaluation setups vary by model,而且沒有公開取樣次數、溫度和步數上限。所以 79.2% 對 77.8% 這種 1.4 個百分點的差距,不要當成「明顯比較強」,比較合理的讀法是「跟 Qwen3.8-27B 同一級」。

3. 跟 Gemma 4 31B 的差距才是重點。 在 DeepSWE 上 48.2% 對 0.3%、SWE-bench Pro Hard 77.9% 對 14.2%,這種差距不是評測設定能解釋的,代表它在長步驟 agent 任務上確實是另一個等級。

4. 新版 Terminal Bench 幾乎全軍覆沒。 Terminal Bench v4.0 只有 5.6%(Qwen3.8-27B 也是 5.6%),跟 v2.1 的 71.6% 差很多。比較難的終端機任務,這一級的模型都還做不到。

部落格也誠實列出弱點:

  • 它「不是多輪對話或多限制指令最強的小模型」,MultiChallenge 50.0%、ComplexConstraints 33.4%,都輸 Qwen3.8-27B。
  • 知識量主要看總參數,它的 AA-Omniscience 分數是 -8.6(負分代表答錯比答對多)。冷門 API 的細節別靠它記憶。
  • 迴圈次數是固定的,不能依任務難度調整。

還有一條跟 agent 最相關的:模型卡的安全段落直接寫,它可能不經確認就做出破壞性動作,例如刪除或覆寫檔案,也可能不會正確回報自己做了什麼。內部測試的「破壞性動作」比率是 10.2%。這比表上其他模型低很多(Gemma 4 31B 75.8%、Qwen3.8-27B 35.2%),但大約每十次還是有一次。

四、手把手:在本機接上 coding agent

以下指令全部取自 Hugging Face 模型卡和 Ollama 模型頁,我們沒有逐一跑過,第一次照做時請留意版本差異。

步驟 1:確認硬體

官方列的本地硬體:

  • Apple silicon、記憶體 32GB 以上(MacBook、Mac mini、Mac Studio)
  • 一台 NVIDIA DGX Spark
  • 其他 GPU 建議 32GB 以上 VRAM

16GB 或 24GB 的 Mac 就不用試了,光權重就 20GB。

步驟 2:用 Ollama 拉模型(Mac 最省事)

ollama run inkling-2-mini

Ollama 上有三個 tag,都是 20GB、標 1M context:latest、26b-a5b、26b-a5b-nvfp4(標示為 MLX)。頁面上標的能力有 vision、tools、thinking。

確認 API 有起來:

curl http://localhost:11434/api/chat -d '{
  "model": "inkling-2-mini",
  "messages": [{"role": "user", "content": "Hello!"}]
}'

步驟 3:接上 coding agent

Ollama 模型頁的 Applications 區塊直接列了 coding agent 的啟動指令:

# Claude Code
ollama launch claude --model inkling-2-mini

# OpenCode
ollama launch opencode --model inkling-2-mini

頁面上還列了 hermes 和 openclaw。這是最快的路,不用自己設 base URL。

步驟 4(有 GPU 主機的話):用 vLLM 或 SGLang 開 OpenAI 相容端點

# vLLM
vllm serve "thinkingmachines/Inkling-2-Mini"

# SGLang
python3 -m sglang.launch_server --model-path "thinkingmachines/Inkling-2-Mini" --port 30000

開起來之後,任何吃 OpenAI 相容 API 的工具(Cline、Aider、Continue 等)都能把 base URL 指過去。團隊共用一台 DGX Spark 或 GPU 主機,大家的 agent 都接同一個端點,這是比每人一台 32GB Mac 更實際的配法。

步驟 5:取樣參數照官方預設

repo 裡的 generation_config.json 只設了 "do_sample": true 和 "temperature": 1.0,沒有 top_p、top_k。模型卡也沒有額外的取樣建議。我們的建議是先用預設的 1.0,別因為「寫程式要穩」就自己調到 0,推理型模型在低溫下有時會重複打轉。調不調、怎麼調,是值得自己用固定任務 A/B 的點。

推理強度要注意一件事:模型卡說把 reasoning effort 調到最低「不會完全關掉推理」。所以就算調低,回應還是會有一段思考,token 用量要預留。

五、把它當 coding agent 用的五條護欄

模型卡給了三條建議:在沙盒裡跑、破壞性動作要先確認、限制輸出 token 和 agent 回合數。下面把它們變成可以直接用的設定。

護欄 1:一定在沙盒或乾淨的 git 分支裡跑。

git switch -c agent/inkling-try
# 或用 worktree,主工作區完全不碰
git worktree add ../repo-inkling agent/inkling-try

10.2% 的破壞性動作比率代表你要假設它會刪錯東西。開新分支或 worktree,最壞就是整個丟掉。

護欄 2:用工具的權限設定擋危險指令。 以 Claude Code 為例,在專案的 .claude/settings.json 加 deny 規則:

{
  "permissions": {
    "deny": [
      "Bash(rm -rf:*)",
      "Bash(git push:*)",
      "Bash(git reset --hard:*)"
    ]
  }
}

這樣模型就算想做,工具也會擋下來,不靠模型自律。

護欄 3:限制回合數。 無人值守跑的時候加上回合上限,避免它在一個做不出來的任務上一直燒:

claude -p "修好 tests/test_parser.py 失敗的測試" --max-turns 30

護欄 4:不要相信它的「做完了」,讓測試說話。 模型卡說它可能不會正確回報自己的工作結果。prompt 裡要求它最後貼出驗證指令的原始輸出,你再自己跑一次:

完成後,請執行 `pytest tests/test_parser.py -q`,
把完整輸出原樣貼出來。不要用自己的話總結測試結果。
如果有任何測試沒過,直接說沒過,列出失敗的測試名稱。

護欄 5:指令寫短、一次一件事。 ComplexConstraints 33.4% 代表一次塞很多限制條件,它容易漏掉幾條。給它的 CLAUDE.md 或 AGENTS.md 寫重點就好,大任務拆成幾個小 prompt 依序給,比一大段規格更穩。冷門套件的用法直接貼文件片段進 context,別讓它靠記憶寫。

六、什麼時候用、什麼時候別用

適合用:

  • 程式碼不能出公司、不能送雲端的專案,例如客戶資料相關的 repo,或簽了保密協議的程式碼。
  • 大量、重複、有測試能驗證的任務:修 lint、補單元測試、升級套件後修編譯錯誤。有測試當裁判,它出錯你看得出來。
  • 想省雲端 token 費用的背景任務,或沒網路時(飛機上、內網環境)的備用模型。

先別用:

  • 需要遵守一長串規範的任務,例如照公司 20 條 coding style 重寫模組,這正好是它的弱項。
  • 沒有測試、沒有版控保護的環境。破壞性動作的風險沒有東西兜底。
  • 需要大量冷門知識的任務,例如很新或很小眾的框架,它的知識量有限。
  • 跟頂級雲端模型比的場合。表格裡的對手是 30B 級的開源模型,不是 Claude 或 GPT 的旗艦模型,79.2% 不代表它能取代你現在主力用的雲端 agent。

七、對工程團隊的意義:一週內可以做的事

  1. 找一台 32GB 以上的 Mac 或一台 GPU 主機,照第四節接起來。整個流程大概就是下載 20GB 加一行啟動指令。
  2. 挑 10 個你們 repo 裡真實發生過、有測試的 bug,用同一套 prompt 分別給 Inkling 2 Mini 和你們現在的雲端模型修,記錄成功率、花的時間、有沒有亂動不該動的檔案。這比任何官方表格都準,因為那是你們自己的程式碼和工具設定。
  3. 把第五節的 deny 規則和回合上限寫進專案設定,不管最後用不用這顆模型,這些護欄對任何 agent 都有用。
  4. 如果結果夠好,可以把它定位成「機密 repo 專用」或「背景批次任務專用」的第二顆模型,雲端模型留給需要最強能力的任務。

一顆 Apache 2.0、20GB、能在筆電上跑的模型,在 SWE-bench 系列上跟 30B 級的開源模型同級,這件事本身就值得花一個下午測一下。只是記得:表格是官方的,你的 repo 才是你自己的考卷。

來源

整理:DataAgent · Coding Agent 實戰教學

最後更新:2026年11月22日