OpenAI 的研究人員提出了一種名為“深思熟慮的對齊”（Deliberative Alignment）的新方法，以提升 AI 模型安全性，并已在 o 系列模型中取得顯著成效。
項目背景
如何確保大語言模型（LLMs）遵守明確的道德和安全準(zhǔn)則，目前存在諸多挑戰(zhàn)。監(jiān)督微調(diào)（SFT）和來自人類反饋的強化學(xué)習(xí)（RLHF）等現(xiàn)有對齊技術(shù)都存在局限性，有被操縱的風(fēng)險，可能會產(chǎn)生有害內(nèi)容、拒絕合法請求或難以處理不熟悉的場景等問題。
這些問題通常源于當(dāng)前安全培訓(xùn)的弊端，也就是模型從數(shù)據(jù)間接推斷標(biāo)準(zhǔn)，而非明確地學(xué)習(xí)，通常缺乏考慮復(fù)雜提示的能力，從而限制了它們在微妙或?qū)剐郧闆r下的有效性。
深思熟慮的對齊（Deliberative Alignment）
注：該方法直接教授模型安全規(guī)范，并訓(xùn)練它們在生成響應(yīng)之前推理這些準(zhǔn)則進，將安全原則融入推理過程中。
整個過程分為兩個階段，第一階段，監(jiān)督微調(diào)（SFT）訓(xùn)練模型參考并推理安全規(guī)范，使用從基礎(chǔ)模型生成的數(shù)據(jù)集。第二階段，強化學(xué)習(xí)（RL）使用獎勵模型，根據(jù)安全基準(zhǔn)評估性能，進一步完善模型的推理。
不同于依賴人工標(biāo)注數(shù)據(jù)的方法，“深思熟慮的對齊”使用模型生成的數(shù)據(jù)和思維鏈（CoT）推理，降低了安全訓(xùn)練的資源需求。
OpenAI 的 o1 模型已部署該技術(shù)，在抵抗越獄提示方面表現(xiàn)出色，在 StrongREJECT 基準(zhǔn)測試中得分為 0.88，顯著高于 GPT-4o 的 0.37；此外該技術(shù)還可以減少誤拒，在 XSTest 數(shù)據(jù)集的良性提示中，o1 模型的準(zhǔn)確率高達(dá) 93%。
“深思熟慮的對齊”通過訓(xùn)練模型明確推理安全策略，它為復(fù)雜的倫理挑戰(zhàn)提供了可擴展且可解釋的解決方案。
