模型在洗碗機模擬器拿高分,代表它會把餐具擺到洗乾淨嗎?
六次紀錄展示了找位置、避開碰撞與修正操作;目前分數還分不清許多盤子與餐具的洗淨問題。
整理範圍 同一製作者的早期模擬測試與自我驗證,不是多位使用者共識。本站讀紀錄與圖片,未跑模型、模擬器或實機。
依使用情境決定
想看代理如何操作空間任務的讀者
看操作失敗、修正與逐步紀錄,比只看總分更有用。
餐具籃放不回去時模型會移除鍋子;畫面遮擋也會增加操作。這能回答操作過程,不能證明實機洗淨。
案例:兩個 Azure 部署,在三個關卡玩了六次 · 來源:Composo:六次模型遊玩的逐次方法、紀錄與更正 · 來源:Composo:模擬器與實機、文獻的驗證結果
想拿它選模型或學實際洗碗的人
先保留判斷,等洗淨裁判與重複樣本補齊。
大多模型/關卡只有一次;沒有真人基準,盤子與擁擠餐具的判決也有盲點。
案例:兩個 Azure 部署,在三個關卡玩了六次 · 來源:DishwasherBench:公開版本、分數界線與本機提供條件 · 來源:Composo:六次模型遊玩的逐次方法、紀錄與更正 · 來源:Composo:模擬器與實機、文獻的驗證結果
來源圖片
從案例看出什麼
有效的操作:裝不回去,就把鍋子拿掉
早餐關,Sol 把煎鍋放進餐具籃原本的位置,系統回報籃子無法裝回;它取出鍋子。首次最後裝入35件,模擬判定35件乾淨,190/220分;少放兩鍋有代價,卻不是無條件追求塞滿。
一個錯誤畫面,也會讓代理多做事
Astra 的上層餐具曾遮在下籃俯視圖上,它推回上籃、再要求清楚的畫面。作者後來修正渲染與工具說明;Sol 早餐第二次188分的工具版本已改,不能當完全相同條件的穩定性重測。
先檢查裁判:倒下的盤子仍被判乾淨
作者明列盤子倒下、餐具擠在一起、噴水臂被卡住時,洗淨結果可能幾乎不扣分。48項文獻現象在 fast tier 檢查,只有17項通過,21項幅度或方向不符,另有1個錯誤情境、9項機制未建;official tier 只跑過其中3項,且在殘留處理更新前。這是模擬器檢查,不是模型答對率。
案例:兩個 Azure 部署,在三個關卡玩了六次 · 來源:Composo:模擬器與實機、文獻的驗證結果 · 來源:DishwasherBench:公開版本、分數界線與本機提供條件
高輸入量不等於已知費用,洗程等待也不等於模型速度
六次合計14,978,858輸入 token,每次至少95%來自快取;未填部署單價,沒有美元費用或帳單。Sol 首次早餐裝載13分20秒、模擬洗程6分07秒;這些是不同階段的經過時間,不能寫成首字延遲或純推理速度。
個案紀錄:任務、結果與限制
兩個 Azure 部署,在三個關卡玩了六次
Composo / DishwasherBench 製作者 · 發布 · 查閱 10/13 16:45(台北)
- 任務
- 在有限空間中選擇並擺放餐具,啟動模擬洗程計分。JSON run 時戳換成台北為10/12;10/13公開。
- 設定
- official tier、Eco 50、spotless-sim 0.5.0 water-7、anchored-v7.owner-capsule;Azure 部署名 gpt-6.1-sol/gpt-6-astra,未記模型快照。harness 未指定 effort,API 兩者回報 medium。
- 結果
- Sol 教學64/64;早餐Sol190、第二次188、Astra175(滿分220);晚宴Sol260、Astra274(滿分367)。六次都避免中空容器口朝上或側放,差異主要在裝載;不是總排名。
- 限制
- 沒有真人、Anthropic模型或其他四關;第二次Sol工具說明不同。只一台機器、一個實機校準洗程;不能代表真實洗碗能力。
- 與產品的關係
- 評測、模擬器與測試紀錄由同一製作者發布。與 Bosch/Finish 等製造商無背書關係,原 repo 明示。
- 證據類型
- 已讀原 README、首次紀錄、驗證文件與逐次JSON;公開重播檢查顯示判決/分數一致,但結果hash不同。本站未執行重播,不把公開驗證檔當自己的實測。
每格一次遊玩只是個案,還算不上測量。Composo / DishwasherBench 製作者 的原話忠實翻譯 · 短節錄
對照原文
One episode a cell is an anecdote, not a measurement原始個案:開啟原始貼文/頁面 ↗ · 來源清單:Composo:六次模型遊玩的逐次方法、紀錄與更正
官方與評測背景
尚未解決的限制與後續觀察
- 六次遊玩來自同一製作者,尚無可查核的獨立試用或真人基準。
- 校準只有一場實機洗程;預測先於結果的紀錄在未公開歷史,本站不能查核先後。
- 重播一致表示操作能回查,不表示模擬物理正確;快速預覽與正式計分也不同。
- 更多實機洗程、盤子與餐具遮擋修復、真人基準、同設定重複遊玩、模型快照與實際費用。
來源與查核
- DishwasherBench:公開版本、分數界線與本機提供條件 ↗製作者文件/0.1.0 · 原文日期 2026.10.13 · 查核 10/13 16:45(台北)
- Composo:六次模型遊玩的逐次方法、紀錄與更正 ↗製作者實測紀錄/API 部署名稱非模型快照 · 原文日期 2026.10.13 · 查核 10/13 16:45(台北)
- Composo:模擬器與實機、文獻的驗證結果 ↗製作者驗證文件/非本站重現 · 原文日期 2026.10.13 · 查核 10/13 16:45(台北)
本文整理已公開的個案,不代表普遍使用情況。引言保留作者歸屬與原文連結,數據與限制以各自來源為準。

