Cloud&AI
`
2025/5/27 14:14
QwenLong-L1-32B 模型登場:阿里通義千問首個強化學習訓練的長文本推理 AI 模型
0
0

阿里通義千問 Qwen 團隊昨日(5 月 26 日)發(fā)布 QwenLong-L1-32B 模型,是其首個通過強化學習訓練的長文本情境推理模型(LRM)。

在七個長文本 DocQA 基準測試中,表現(xiàn)超越 o3-mini 和 Qwen3-235B-A22B 等旗艦模型,與 Claude-3.7-Sonnet-Thinking 相當。

QwenLong-L1-32B 模型最大的亮點,在于上下文窗口最高支持 131072 個 tokens。該模型基于 QwenLong-L1 框架開發(fā),采用了先進的 GRPO(Group Relative Policy Optimization)和 DAPO(Direct Alignment Policy Optimizatio)算法,結(jié)合基于規(guī)則和基于模型的混合獎勵函數(shù),顯著提升了模型在長上下文推理中的準確性和效率。

具體而言,團隊在監(jiān)督微調(diào)(SFT)階段建立一個穩(wěn)健的初始策略,隨后采用課程引導的分階段強化學習技術來穩(wěn)定策略演變,并結(jié)合難度感知的回顧采樣策略來激勵策略探索。

除了模型本身,阿里還發(fā)布了一套針對長文本推理問題的完整解決方案。該方案包含四個核心組件: 高性能的 QwenLong-L1-32B 模型、專門優(yōu)化的訓練數(shù)據(jù)集、創(chuàng)新的強化學習訓練方法,以及全面的性能評估體系。

免責聲明:本文僅代表作者個人觀點,與C114通信網(wǎng)無關。其原創(chuàng)性以及文中陳述文字和內(nèi)容未經(jīng)本站證實,對本文以及其中全部或者部分內(nèi)容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內(nèi)容。

給作者點贊
0 VS 0
寫得不太好

C114簡介     聯(lián)系我們     網(wǎng)站地圖

Copyright©1999-2025 c114 All Rights Reserved 滬ICP備12002291號-4

C114通信網(wǎng)版權所有 舉報電話:021-54451141 用戶注銷