顯著超越 SFT，o1/DeepSeek-R1 背后秘訣也能用于多模態(tài)大模型了
Mar 12, 2025 pm 01:03 PM
上海交大、上海AI Lab和港中文大學的研究人員推出Visual-RFT（視覺強化微調(diào)）開源項目，該項目僅需少量數(shù)據(jù)即可顯著提升視覺語言大模型（LVLM）性能。 Visual-RFT巧妙地將DeepSeek-R1的基于規(guī)則獎勵的強化學習方法與OpenAI的強化微調(diào)（RFT）范式相結合，成功地將這一方法從文本領域擴展到視覺領域。
通過為視覺細分類、目標檢測等任務設計相應的規(guī)則獎勵，Visual-RFT克服了DeepSeek-R1方法僅限于文本、數(shù)學推理等領域的局限性，為LVLM訓練提供了新的途徑。
Visual-RFT的優(yōu)勢：
與傳統(tǒng)的視覺指令微調(diào)（SFT）方法相比，Visual-RFT具有以下顯著優(yōu)勢：
- 少樣本學習能力:僅需10到1000條數(shù)據(jù)即可實現(xiàn)有效微調(diào)。
- 更強的泛化性:在數(shù)據(jù)有限的場景下，性能優(yōu)于SFT。
研究人員在多個視覺感知任務（檢測、分類、定位等）上對Visual-RFT進行了驗證，結果表明，即使在開放詞匯和少樣本學習的設定下，Visual-RFT也能取得顯著的性能提升，輕松實現(xiàn)能力遷移。
研究人員針對不同的任務設計了相應的可驗證獎勵：基于IoU的獎勵用于檢測和定位任務，基于分類正確性的獎勵用于分類任務。
在推理定位任務中，Visual-RFT展現(xiàn)出強大的視覺推理能力，例如，準確識別圖片中運動員需要佩戴的防水眼鏡。
實驗結果:
基于QWen2-VL 2B/7B模型進行的實驗表明，Visual-RFT在開放目標檢測、少樣本檢測、細粒度分類和推理定位任務上均優(yōu)于SFT。 即使是檢測特定動漫角色（例如史萊姆），Visual-RFT也只需少量數(shù)據(jù)即可實現(xiàn)。
開源信息:
Visual-RFT項目已開源，包含訓練、評測代碼和數(shù)據(jù)。
項目地址： http://miracleart.cn/link/ec56522bc9c2e15be17d11962eeec453
以上是顯著超越 SFT，o1/DeepSeek-R1 背后秘訣也能用于多模態(tài)大模型了的詳細內(nèi)容。更多信息請關注PHP中文網(wǎng)其他相關文章！
熱AI工具
Undress AI Tool
免費脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動的應用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機
Video Face Swap
使用我們完全免費的人工智能換臉工具輕松在任何視頻中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強大的PHP集成開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級代碼編輯軟件(SublimeText3)
2025年7月加密貨幣代幣高回報預期：炒作還是現(xiàn)實？
Jul 04, 2025 pm 08:42 PM
隨著2025年7月的臨近，加密市場正熱議哪些代幣可能帶來高回報。Pi、PEPE和FloppyPepe這些名字是否真的值得冒險投資？2025年7月值得關注的潛力加密貨幣：虛火還是真金？進入2025年中旬，關于高收益加密資產(chǎn)的討論熱度持續(xù)升溫。比特幣走勢與“山寨幣季節(jié)”預期引發(fā)投資者關注，像PiNetwork、PEPE和FloppyPepe這類代幣是否具備帶來可觀投資回報的潛力？我們來逐一分析其前景。山寨幣行情：七月能否如愿以償？在比特幣有望刷新歷史高位的背景下，“山寨幣季節(jié)”似乎正在醞釀。回
Impossible Cloud Network(ICNT)是什么?怎么樣?幣安即將上線項目ICN全面介紹
Jul 07, 2025 pm 07:06 PM
目錄一、ICN是什么？二、ICNT最新動態(tài)三、ICN與其他DePIN項目的對比及經(jīng)濟模型四、DePIN賽道的下一階段展望結語5月底，ICN（ImpossibleCloudNetwork）@ICN_Protocol宣布獲得NGPCapital戰(zhàn)略投資，估值達到4.7億美元，很多人第一反應是：“小米投Web3了？”雖然這不是雷軍直接出手，但出手的，是曾押中小米、Helium、WorkFusion的那
Ripple、美國銀行與XRP：金融創(chuàng)新的新時代？
Jul 04, 2025 pm 08:36 PM
Ripple正在通過申請國家銀行牌照，以及推動XRP在加密經(jīng)濟中的新角色，重新定義金融行業(yè)的未來格局。掌握最新動態(tài)與深度觀察，把握趨勢先機。加密貨幣生態(tài)正處于高速演進之中，而Ripple及其數(shù)字資產(chǎn)XRP無疑站在風暴中心。尤其在美國銀行體系中所展開的一系列動作，正在引發(fā)廣泛關注。這一切的發(fā)展仿佛是一場現(xiàn)實中的金融劇集，正逐步揭開序幕！Ripple的銀行業(yè)宏圖大略Ripple首席執(zhí)行官BradGarlinghouse已不再滿足于傳統(tǒng)金融科技的邊界。作為戰(zhàn)略升級的關鍵步驟，Ripple
幣安第25期HODLer空投來襲，1.25億SAHARA等你來瓜分
Jul 04, 2025 pm 06:06 PM
在當今科技飛速發(fā)展的時代，人工智能與區(qū)塊鏈的融合正逐漸成為新的趨勢。Sahara AI (SAHARA) 項目應運而生，它致力于打造首個全棧 AI 原生區(qū)塊鏈平臺，讓人工智能的未來更加觸手可及、公平公正，并面向所有人開放。
2025年穩(wěn)定幣投資新手教程 如何選擇安全的穩(wěn)定幣平臺
Jul 07, 2025 pm 09:09 PM
新手用戶如何選擇安全可靠的穩(wěn)定幣平臺？本文推薦了2025年Top 10穩(wěn)定幣平臺，包括Binance、OKX、Bybit、Gate.io、HTX、KuCoin、MEXC、Bitget、CoinEx和ProBit，并從安全性、穩(wěn)定幣種類、流動性、用戶體驗、手續(xù)費結構和額外功能等維度進行對比分析。數(shù)據(jù)來源于CoinGecko、DefiLlama及社群評價，建議新手優(yōu)先選擇合規(guī)性強、操作簡便、支持中文的平臺，如KuCoin與CoinEx，并通過少量測試逐步建立信心。
埃隆·馬斯克、薩姆·奧爾特曼與Robinhood：一場代幣化的拉鋸戰(zhàn)？
Jul 04, 2025 pm 08:30 PM
Robinhood推出的OpenAI和SpaceX代幣化股票引發(fā)爭議，埃隆·馬斯克（ElonMusk）與薩姆·阿爾特曼（SamAltman）就所謂“假股權”的性質(zhì)展開互懟。近期，埃隆·馬斯克、薩姆·阿爾特曼與Robinhood的交集成為公眾關注焦點，這一切都源于代幣化股權。Robinhood向歐洲用戶推出OpenAI和SpaceX等私營公司的代幣化股票，引發(fā)了激烈爭論，并伴隨著各方的澄清與批評。Robinhood的代幣化股權：大膽嘗試？由CEO弗拉德·特內(nèi)夫（VladTenev）主導的Robin
Remittix、門羅幣與加密貨幣-法幣的演變：為何引發(fā)熱議？
Jul 04, 2025 pm 09:33 PM
探索Remittix(RTX)、門羅幣(XMR)與加密-法幣趨勢：這些項目如何通過實用性和社區(qū)導向塑造加密貨幣的未來。Remittix、門羅幣與加密-法幣演進：到底在熱炒什么？加密市場始終處于動態(tài)變化之中，新舊項目都在爭奪投資者目光。目前，Remittix（RTX）、門羅幣（XMR）以及加密-法幣方向正成為討論焦點。我們來一探究竟，這波熱度背后有哪些驅(qū)動力？Remittix：潛力初現(xiàn)的新興代幣Remittix正逐步贏得市場關注，其發(fā)展軌跡被部分人士類比為比特幣和以太坊早期階段?！癈ryptoR
幣圈動蕩如何避險？TOP3穩(wěn)定幣榜單曝光
Jul 08, 2025 pm 07:27 PM
在加密貨幣市場劇烈波動的背景下，投資者尋求資產(chǎn)保值的需求日益凸顯。本文旨在解答如何在動蕩的幣圈中進行有效避險，將詳細介紹穩(wěn)定幣這一核心避險工具的概念，并通過分析當前市場公認度較高的選項，提供一份TOP3穩(wěn)定幣榜單。文章會講解如何根據(jù)自身需求選擇和運用這些穩(wěn)定幣，從而在不確定的市場環(huán)境中更好地管理風險。
