黑丝AV在线,亚洲伦理片A片,东京热久久AV

GO-1大模型 × ADC對(duì)抗式數(shù)采：具身落地新范式 發(fā)布時(shí)間：2025-03-19 14:55:56

導(dǎo) 言

在具身智能領(lǐng)域，im電競(jìng)啟元大模型GO-1 依靠先進(jìn)的模型架構(gòu)和高質(zhì)量的海量真機(jī)數(shù)據(jù)，展現(xiàn)出了通用的感知理解、動(dòng)作執(zhí)行等能力。如今，im電競(jìng)進(jìn)一步提出一種全新的數(shù)據(jù)采集范式ADC （Adversarial Data Collection, 對(duì)抗數(shù)據(jù)采集），大幅提升了數(shù)據(jù)的信息密度和多樣性，降低了后訓(xùn)練所需的數(shù)據(jù)量、壓縮了訓(xùn)練成本，且提升了模型的魯棒性和泛化性，與傳統(tǒng)范式相比，使用20%數(shù)據(jù)量達(dá)到其2.7倍的效果。

論文地址：

https://arxiv.org/abs/2503.11646

項(xiàng)目地址：

https://sites.google.com/view/adc-robot/home

01 ADC: 突破性的對(duì)抗式數(shù)據(jù)采集方案

傳統(tǒng)的數(shù)據(jù)采集采用單次重復(fù)范式，存在視覺(jué)冗余、語(yǔ)言指令重復(fù)及動(dòng)作相似的問(wèn)題，導(dǎo)致數(shù)據(jù)的多樣性和有效性不足。盡管存在仿真等技術(shù)豐富數(shù)據(jù)的多樣性，但卻面臨Sim2real域間差異等問(wèn)題，難以實(shí)現(xiàn)在復(fù)雜真實(shí)環(huán)境中快速高效擴(kuò)展。

為了解決上述問(wèn)題，im電競(jìng)推出了一種全新的數(shù)據(jù)采集方法——對(duì)抗式數(shù)據(jù)采集ADC，在數(shù)據(jù)采集過(guò)程中增加人為動(dòng)態(tài)擾動(dòng)，包括視覺(jué)和指令對(duì)抗，從而：

提升單條數(shù)據(jù)的信息密度與多樣性
減少后訓(xùn)練數(shù)據(jù)需求量和模型訓(xùn)練成本
增強(qiáng)模型的泛化能力與魯棒性

如下圖所示，研究團(tuán)隊(duì)對(duì)比分析了機(jī)器人操作中真實(shí)數(shù)據(jù)采集的兩種流程：

(a) 傳統(tǒng)方法： 遠(yuǎn)程操作者在靜態(tài)視覺(jué)環(huán)境中，依據(jù)固定語(yǔ)言指令執(zhí)行任務(wù)。數(shù)據(jù)采集局限于單一場(chǎng)景，缺乏多樣性。
(b) 對(duì)抗式數(shù)據(jù)采集（ADC）框架： 采用“雙人協(xié)同”模式，新增一名對(duì)抗操作員，在采集數(shù)據(jù)時(shí)，對(duì)抗采集員通過(guò)動(dòng)態(tài)擾動(dòng)改變視覺(jué)元素（如背景、物體位置/姿態(tài)）及語(yǔ)言指令（如任務(wù)目標(biāo)），提升信息密度和多樣性。

02 ADC如何提升數(shù)據(jù)信息密度和多樣性

ADC通過(guò)在單次示范中注入多層次、跨模態(tài)的擾動(dòng)，大幅提升數(shù)據(jù)的信息密度與多樣性：

視覺(jué)擾動(dòng)： 動(dòng)態(tài)調(diào)整物體位置、姿態(tài)及背景；
語(yǔ)言擾動(dòng)： 實(shí)時(shí)修改任務(wù)目標(biāo)或換用不同表達(dá)方式；
失敗恢復(fù)： 采集中自然融入錯(cuò)誤應(yīng)對(duì)策略；
信息壓縮：單次ADC演采集≈?jǐn)?shù)百次傳統(tǒng)采集的信息量。

其中，傳統(tǒng)數(shù)據(jù)采集方案與ADC數(shù)據(jù)采集方案對(duì)比視頻如下所示：

03 少數(shù)據(jù)，強(qiáng)性能，更魯棒

為了驗(yàn)證ADC設(shè)計(jì)的有效性，研究團(tuán)隊(duì)在im電競(jìng)精靈G1機(jī)器人平臺(tái)上開(kāi)展了實(shí)驗(yàn)，設(shè)計(jì)了“水果分類(lèi)放置”任務(wù)作為驗(yàn)證場(chǎng)景。im電競(jìng)分別用傳統(tǒng)范式和ADC新范式采集了大致相當(dāng)幀數(shù)的數(shù)據(jù)。由于ADC采集過(guò)程中無(wú)需頻繁重置場(chǎng)景，采集相同幀數(shù)的有效數(shù)據(jù)所需采集時(shí)間基本和傳統(tǒng)方式一致。

在靜態(tài)環(huán)境測(cè)試中，相比傳統(tǒng)數(shù)據(jù)采集訓(xùn)練的模型，ADC采集的訓(xùn)練數(shù)據(jù)使模型在任務(wù)中表現(xiàn)出突出的準(zhǔn)確性與可靠性，平均成功率在3組不同測(cè)試條件下分別提升了53%、70%、59%。

在靜態(tài)環(huán)境下的性能評(píng)測(cè)

在動(dòng)態(tài)環(huán)境測(cè)試中（例如物體位置或語(yǔ)言指令動(dòng)態(tài)變化），傳統(tǒng)方法訓(xùn)練的模型表現(xiàn)完全失效，成功率全部為0，而ADC訓(xùn)練的模型能夠應(yīng)對(duì)視覺(jué)和語(yǔ)言擾動(dòng)，展現(xiàn)出更高的魯棒性。

動(dòng)態(tài)環(huán)境下對(duì)抗視覺(jué)擾動(dòng)的性能評(píng)測(cè)

動(dòng)態(tài)環(huán)境下對(duì)抗語(yǔ)言干擾的性能評(píng)測(cè)

為了驗(yàn)證ADC數(shù)據(jù)的高信息密度特性，im電競(jìng)分別使用傳統(tǒng)采集方式的全量數(shù)據(jù)和ADC方式20%/50%/100%的數(shù)據(jù)進(jìn)行了模型訓(xùn)練，實(shí)驗(yàn)結(jié)果表明，僅使用20%的ADC采集數(shù)據(jù)，模型性能就達(dá)到全量傳統(tǒng)數(shù)據(jù)的2.7倍。

不同數(shù)據(jù)配比下的模型性能評(píng)測(cè)

還有比較驚喜的是，ADC數(shù)據(jù)訓(xùn)練的模型在模擬“傳感器失效”（屏蔽機(jī)器人某些攝像頭輸入）的場(chǎng)景中，依然表現(xiàn)出強(qiáng)大的抗干擾能力。從注意力熱力圖中可以觀察到，ADC訓(xùn)練的模型能夠動(dòng)態(tài)將注意力集中在有效輸入上，而非分散在無(wú)關(guān)區(qū)域。對(duì)于這種情況，im電競(jìng)認(rèn)為是由于ADC數(shù)據(jù)采集過(guò)程中，有更多的被遮擋或者部分可觀的數(shù)據(jù)情況，提升了模型對(duì)目標(biāo)物體的觀察全面性，從而提高模型的視覺(jué)表征能力，這進(jìn)一步驗(yàn)證了ADC采集數(shù)據(jù)的多樣性。

此外，通過(guò)ADC采集的數(shù)據(jù)，訓(xùn)練出的模型展現(xiàn)了動(dòng)態(tài)人機(jī)協(xié)同適應(yīng)與錯(cuò)誤恢復(fù)的能力。例如，在抓取失敗后，機(jī)器人能夠自動(dòng)調(diào)整姿態(tài)并重新規(guī)劃路徑完成任務(wù)。