OptiMind：具備最佳化專業知識的小型語言模型

概覽

• 許多現實世界的業務問題都能從優化中獲益，但將決策、約束和目標從自然語言轉化為優化演算法的過程非常緩慢。

• OptiMind 是一個小型語言模型，旨在將以自然語言描述的業務問題轉換為優化軟體所需的數學公式。

• OptiMind 在經過精心策劃、與專家對齊的數據集上進行訓練，並在推理時應用特定領域的提示和自我檢查，從而提高其準確性。

• OptiMind 的性能與大型系統相當甚至更優，它可以本地運行以保護敏感數據，產生更可靠的公式，並減少準備優化模型所需的時間和專業知識。

從能源到金融，各行各業的企業都使用優化模型來規劃複雜的運營，如供應鏈和物流。這些模型通過定義三個要素來運作：可以做出的選擇（如生產數量或配送路線）、這些選擇必須遵守的規則和限制，以及目標（無論是降低成本、滿足客戶需求還是提高效率）。

在過去的幾十年中，許多企業已從基於判斷的決策轉向數據驅動的方法，從而實現了顯著的效率提升和成本節約。人工智慧的進步有望進一步加速這一轉變，在提供更好結果的同時，潛在地將決策時間從幾天縮短到幾分鐘。

然而在實踐中，將現實世界的業務問題轉化為優化軟體可以理解的形式具有挑戰性。這種轉化過程需要用數學術語表達決策、約束和目標。這項工作需要專門的專業知識，解決複雜問題可能需要一天到幾週不等的時間。

為了應對這一挑戰，我們推出了 OptiMind，這是一個小型語言模型，旨在將以平實語言描述的問題轉換為優化軟體所需的數學公式。OptiMind 基於一個 200 億參數的模型構建，按當前標準來看體積精簡，但性能卻能與更大、更複雜的系統相媲美。其適中的體積意味著它可以在用戶設備上本地運行，實現快速迭代，同時將敏感的業務數據保留在用戶設備上，而不是傳輸到外部伺服器。

焦點：AI 驅動的體驗

Microsoft Research Copilot 體驗

通過我們的 AI 驅動體驗，探索更多關於 Microsoft 研究的內容

立即開始

在新分頁中開啟

運作原理

OptiMind 在訓練期間以及大規模提高公式準確性時，都融入了優化專家的知識。這通過三個階段實現：特定領域的提示提高訓練數據質量、模型進行微調，以及專家推理在模型工作時提供指導。

圖 1. 從問題描述到解決方案

開發 OptiMind 的核心挑戰之一是現有優化問題公共數據集的質量較差。許多示例不完整或包含錯誤的解決方案。為了改善這一點，我們開發了一種結合自動化與專家審查的系統方法。它將問題組織成眾所周知的類別（如排程或路由），並識別每個類別中的常見錯誤模式。利用這些見解，我們生成了經專家驗證的「提示」來指導過程，使系統能夠重新生成更高質量的解決方案並過濾掉無法解決的示例（圖 2）。其結果是一個能更準確反映優化專家如何構建問題的訓練數據集。

圖 2. 修正訓練數據的流程

使用這個精煉的數據集，我們對基礎模型進行了監督式微調。我們不只是簡單地生成程式碼，而是訓練 OptiMind 在生成結構化數學公式的同時產生中間推理步驟，幫助其避免早期數據集中常見的錯誤。

在使用時，模型的可靠性會進一步提升。當給定一個新問題時，OptiMind 首先將其分類（如排程或網絡設計）。然後，它會應用與該類問題相關的專家提示，這些提示在生成解決方案之前起到檢查錯誤的提醒作用。對於特別具有挑戰性的問題，系統會生成多個解決方案，並選擇出現頻率最高的一個，或利用反饋來精煉其回答。如圖 3 所示，這種方法在不需要更大模型的情況下提高了準確性。

圖 3. OptiMind 的推理過程

評估

為了測試該系統，我們採用了三個廣泛使用的公共基準測試，這些測試代表了該領域中一些最複雜的公式化任務。經仔細檢查，我們發現 30% 到 50% 的原始測試數據存在缺陷。在手動修正這些問題後，OptiMind 的準確性比基礎模型提高了約 10%。圖 4 和表 1 顯示了詳細對比：OptiMind 的表現優於其他 320 億參數以下的開源模型，並且在結合專家提示和修正策略時，達到或超過了當前領先模型的性能。

圖 4. 所有模型的平均準確百分比。

表 1. 所有模型在修正後的基準數據集上的表現

OptiMind 比其他模型更可靠，因為它從更高質量、與領域對齊的數據中學習。通過修正標準數據集中的錯誤和不一致，我們顯著降低了模型相對於基礎模型和對比模型的幻覺傾向。

展望未來

雖然監督式微調提供了堅實的基礎，但我們正在探索強化學習，以進一步完善 OptiMind 的推理能力。我們還在研究自動化框架，讓大型語言模型（LLM）能夠生成自己的專家提示，從而實現持續的自主改進。此外，我們正與 Microsoft 產品團隊和行業合作夥伴合作，擴大 OptiMind 的實用性，增加對更多編程語言和各種輸入格式（包括 Excel 和其他廣泛使用的工具）的支持。

我們將 OptiMind 作為實驗性模型發布，以收集社群反饋並為未來的開發提供參考。該模型可通過 Microsoft Foundry（在新分頁中開啟） 和 Hugging Face（在新分頁中開啟） 獲取，我們還在 GitHub（在新分頁中開啟） 上開源了基準測試和數據處理程序，以支持全領域更可靠的評估。我們歡迎通過 GitHub（在新分頁中開啟） 提供反饋，並邀請有興趣塑造優化未來的人士申請我們的開放職位。

在新分頁中開啟這篇文章 OptiMind：具備優化專業知識的小型語言模型 首先出現在 Microsoft Research 上。