大模型評(píng)估
1.2-1.3萬(wàn)元/月崗位職責(zé):
1. 負(fù)責(zé)視頻生成、視頻可控應(yīng)用、多模態(tài)理解大模型、音視頻生成大模型等相關(guān)方向算法項(xiàng)目的交付質(zhì)量保障,涵蓋數(shù)據(jù)集設(shè)計(jì)與完善、標(biāo)注質(zhì)量審核、成果驗(yàn)收及評(píng)測(cè)報(bào)告輸出;
2. 開(kāi)展音視頻質(zhì)量評(píng)估工作,對(duì)大模型生成的音視頻內(nèi)容進(jìn)行主觀評(píng)價(jià),重點(diǎn)評(píng)估視頻編輯能力、可控性表現(xiàn),以及畫(huà)面表現(xiàn)力、音頻清晰度、播放流暢性、音畫(huà)同步匹配度等方面,提供專(zhuān)業(yè)化的評(píng)估意見(jiàn);
3. 參與評(píng)測(cè)方案的制定與落地執(zhí)行,負(fù)責(zé)測(cè)試集構(gòu)建,組織并指導(dǎo)標(biāo)注團(tuán)隊(duì)開(kāi)展工作,確保標(biāo)注結(jié)果準(zhǔn)確可靠,保障評(píng)測(cè)結(jié)論的有效性;
4. 對(duì)評(píng)測(cè)過(guò)程中產(chǎn)生的各類(lèi)數(shù)據(jù)進(jìn)行系統(tǒng)整理與深入分析,識(shí)別音視頻生成中的潛在問(wèn)題,輸出完整的評(píng)測(cè)報(bào)告,為項(xiàng)目組提供專(zhuān)業(yè)參考和優(yōu)化建議,助力模型迭代提升;
5. 跟進(jìn)競(jìng)品動(dòng)態(tài),開(kāi)展競(jìng)品分析,參與算法效果對(duì)比、問(wèn)題歸因分析及行業(yè)評(píng)測(cè)方法的研究與探索。
任職要求:
1. 具備視頻生成、視頻可控應(yīng)用、多模態(tài)理解大模型、音視頻生成大模型等相關(guān)領(lǐng)域項(xiàng)目質(zhì)量管控經(jīng)驗(yàn),熟悉數(shù)據(jù)集建設(shè)、標(biāo)注質(zhì)量檢查、交付驗(yàn)收流程及評(píng)測(cè)報(bào)告撰寫(xiě);
2. 能夠獨(dú)立完成大模型生成音視頻的主觀質(zhì)量評(píng)估,熟練判斷視頻功能實(shí)現(xiàn)、音頻清晰度、流暢性及與畫(huà)面內(nèi)容的一致性,并給出專(zhuān)業(yè)評(píng)估結(jié)論;
3. 具有評(píng)測(cè)方案設(shè)計(jì)與實(shí)施能力,能參與測(cè)試集規(guī)劃,具備對(duì)標(biāo)注團(tuán)隊(duì)的培訓(xùn)與管理經(jīng)驗(yàn),可有效控制標(biāo)注質(zhì)量和評(píng)測(cè)準(zhǔn)確性;
4. 具備良好的數(shù)據(jù)分析能力,能夠從評(píng)測(cè)數(shù)據(jù)中發(fā)現(xiàn)問(wèn)題、歸納規(guī)律,形成高質(zhì)量的分析報(bào)告,為模型優(yōu)化提供有力支持;
5. 關(guān)注行業(yè)動(dòng)態(tài),有競(jìng)品調(diào)研經(jīng)驗(yàn),能參與算法效果評(píng)估、問(wèn)題溯源分析及前沿評(píng)測(cè)技術(shù)的探索工作。