崗位職責(zé)：
1. 運用算子優(yōu)化、顯存/KV cache管理優(yōu)化、分布式加速等手段進行推理框架的研發(fā)與性能提升；
2. 參與大模型在高并發(fā)場景下的推理性能分析，識別系統(tǒng)性能瓶頸并設(shè)計有效優(yōu)化策略；
3. 研究低資源環(huán)境下大模型的輕量化技術(shù)路徑，包括模型量化、投機采樣、sparse attention等方法；
4. 協(xié)同團隊成員，推進優(yōu)化成果在實際業(yè)務(wù)場景中的落地與應(yīng)用。

崗位要求：
1. 計算機、人工智能、軟件工程等相關(guān)專業(yè)碩士及以上學(xué)歷；
2. 掌握大模型推理優(yōu)化相關(guān)技術(shù)，具備tensorRT_llm、vllm、sglang等主流開源推理框架開發(fā)經(jīng)驗者優(yōu)先；
3. 熟練使用 Python/C++ 編程，有 CUDA 開發(fā)及 GPU 性能調(diào)優(yōu)實踐經(jīng)驗者優(yōu)先；
4. 在頂級會議發(fā)表論文、獲得競賽獎項或具備相關(guān)領(lǐng)域?qū)嵙?xí)經(jīng)歷者可加分。