模型在洗碗機模擬器拿高分,代表它會把餐具擺到洗乾淨嗎?

六次紀錄展示了找位置、避開碰撞與修正操作;目前分數還分不清許多盤子與餐具的洗淨問題。

整理範圍 同一製作者的早期模擬測試與自我驗證,不是多位使用者共識。本站讀紀錄與圖片,未跑模型、模擬器或實機。

依使用情境決定

想看代理如何操作空間任務的讀者

看操作失敗、修正與逐步紀錄,比只看總分更有用。

餐具籃放不回去時模型會移除鍋子;畫面遮擋也會增加操作。這能回答操作過程,不能證明實機洗淨。

案例:兩個 Azure 部署,在三個關卡玩了六次 · 來源:Composo:六次模型遊玩的逐次方法、紀錄與更正 · 來源:Composo:模擬器與實機、文獻的驗證結果

想拿它選模型或學實際洗碗的人

先保留判斷,等洗淨裁判與重複樣本補齊。

大多模型/關卡只有一次;沒有真人基準,盤子與擁擠餐具的判決也有盲點。

案例:兩個 Azure 部署,在三個關卡玩了六次 · 來源:DishwasherBench:公開版本、分數界線與本機提供條件 · 來源:Composo:六次模型遊玩的逐次方法、紀錄與更正 · 來源:Composo:模擬器與實機、文獻的驗證結果

從案例看出什麼

有效的操作:裝不回去,就把鍋子拿掉

早餐關,Sol 把煎鍋放進餐具籃原本的位置,系統回報籃子無法裝回;它取出鍋子。首次最後裝入35件,模擬判定35件乾淨,190/220分;少放兩鍋有代價,卻不是無條件追求塞滿。

案例:兩個 Azure 部署,在三個關卡玩了六次 · 來源:Composo:六次模型遊玩的逐次方法、紀錄與更正

一個錯誤畫面,也會讓代理多做事

Astra 的上層餐具曾遮在下籃俯視圖上,它推回上籃、再要求清楚的畫面。作者後來修正渲染與工具說明;Sol 早餐第二次188分的工具版本已改,不能當完全相同條件的穩定性重測。

案例:兩個 Azure 部署,在三個關卡玩了六次 · 來源:Composo:六次模型遊玩的逐次方法、紀錄與更正

先檢查裁判:倒下的盤子仍被判乾淨

作者明列盤子倒下、餐具擠在一起、噴水臂被卡住時,洗淨結果可能幾乎不扣分。48項文獻現象在 fast tier 檢查,只有17項通過,21項幅度或方向不符,另有1個錯誤情境、9項機制未建;official tier 只跑過其中3項,且在殘留處理更新前。這是模擬器檢查,不是模型答對率。

案例:兩個 Azure 部署,在三個關卡玩了六次 · 來源:Composo:模擬器與實機、文獻的驗證結果 · 來源:DishwasherBench:公開版本、分數界線與本機提供條件

高輸入量不等於已知費用,洗程等待也不等於模型速度

六次合計14,978,858輸入 token,每次至少95%來自快取;未填部署單價,沒有美元費用或帳單。Sol 首次早餐裝載13分20秒、模擬洗程6分07秒;這些是不同階段的經過時間,不能寫成首字延遲或純推理速度。

案例:兩個 Azure 部署,在三個關卡玩了六次 · 來源:Composo:六次模型遊玩的逐次方法、紀錄與更正

個案紀錄:任務、結果與限制

GitHub 公開測試紀錄

兩個 Azure 部署,在三個關卡玩了六次

Composo / DishwasherBench 製作者 · 發布 · 查閱 10/13 16:45(台北)

任務
在有限空間中選擇並擺放餐具,啟動模擬洗程計分。JSON run 時戳換成台北為10/12;10/13公開。
設定
official tier、Eco 50、spotless-sim 0.5.0 water-7、anchored-v7.owner-capsule;Azure 部署名 gpt-6.1-sol/gpt-6-astra,未記模型快照。harness 未指定 effort,API 兩者回報 medium。
結果
Sol 教學64/64;早餐Sol190、第二次188、Astra175(滿分220);晚宴Sol260、Astra274(滿分367)。六次都避免中空容器口朝上或側放,差異主要在裝載;不是總排名。
限制
沒有真人、Anthropic模型或其他四關;第二次Sol工具說明不同。只一台機器、一個實機校準洗程;不能代表真實洗碗能力。
與產品的關係
評測、模擬器與測試紀錄由同一製作者發布。與 Bosch/Finish 等製造商無背書關係,原 repo 明示。
證據類型
已讀原 README、首次紀錄、驗證文件與逐次JSON;公開重播檢查顯示判決/分數一致,但結果hash不同。本站未執行重播,不把公開驗證檔當自己的實測。
每格一次遊玩只是個案,還算不上測量。
Composo / DishwasherBench 製作者 的原話忠實翻譯 · 短節錄
對照原文
One episode a cell is an anecdote, not a measurement

原始個案:開啟原始貼文/頁面 ↗ · 來源清單:Composo:六次模型遊玩的逐次方法、紀錄與更正

官方與評測背景

  • 0.1.0 是模擬一台 Bosch SMV4HAX40G、Eco 50 洗程的開源遊戲。人工可在本機瀏覽器玩,模型透過 MCP 操作;不是機器人控制真實家電。[1]
  • 作者只驗證過 M3 Pro、18 GB、macOS 27;Linux、Windows 未測。README 提供本機架設方式,模型遊玩需另付 API 費。[1]

尚未解決的限制與後續觀察

  • 六次遊玩來自同一製作者,尚無可查核的獨立試用或真人基準。
  • 校準只有一場實機洗程;預測先於結果的紀錄在未公開歷史,本站不能查核先後。
  • 重播一致表示操作能回查,不表示模擬物理正確;快速預覽與正式計分也不同。
  • 更多實機洗程、盤子與餐具遮擋修復、真人基準、同設定重複遊玩、模型快照與實際費用。

來源與查核

  1. DishwasherBench:公開版本、分數界線與本機提供條件 ↗製作者文件/0.1.0 · 原文日期 2026.10.13 · 查核 10/13 16:45(台北)
  2. Composo:六次模型遊玩的逐次方法、紀錄與更正 ↗製作者實測紀錄/API 部署名稱非模型快照 · 原文日期 2026.10.13 · 查核 10/13 16:45(台北)
  3. Composo:模擬器與實機、文獻的驗證結果 ↗製作者驗證文件/非本站重現 · 原文日期 2026.10.13 · 查核 10/13 16:45(台北)

本文整理已公開的個案,不代表普遍使用情況。引言保留作者歸屬與原文連結,數據與限制以各自來源為準。