實(shí)時(shí)數(shù)據(jù)研發(fā)工程師
1.2-1.8萬(wàn)元/月崗位職責(zé):
1. 承擔(dān)實(shí)時(shí)數(shù)據(jù)處理系統(tǒng)的開發(fā)與維護(hù)工作,完成實(shí)時(shí)業(yè)務(wù)場(chǎng)景的需求分析、架構(gòu)設(shè)計(jì)及編碼實(shí)現(xiàn);
2. 基于Flink框架開展實(shí)時(shí)計(jì)算任務(wù)開發(fā),熟練運(yùn)用DataStream API與Flink SQL實(shí)現(xiàn)各類數(shù)據(jù)處理邏輯;
3. 利用Hadoop、Hive、Spark、Kafka等大數(shù)據(jù)技術(shù)棧搭建高效且穩(wěn)定的實(shí)時(shí)數(shù)據(jù)通道;
4. 參與實(shí)時(shí)數(shù)倉(cāng)的構(gòu)建與性能調(diào)優(yōu),深入理解其架構(gòu)體系并推動(dòng)實(shí)際落地應(yīng)用;
5. 負(fù)責(zé)大數(shù)據(jù)組件在Linux環(huán)境中的部署、調(diào)試與日常運(yùn)維,通過(guò)編寫Shell腳本實(shí)現(xiàn)自動(dòng)化操作;
6. 運(yùn)用Redis、HBase、Doris等存儲(chǔ)方案支撐高并發(fā)、低延遲的數(shù)據(jù)讀寫與查詢需求;
7. 精通Java或Scala語(yǔ)言,基于JVM生態(tài)進(jìn)行系統(tǒng)開發(fā),確保代碼的可維護(hù)性與運(yùn)行效率。
任職要求:
1. 具備3年以上相關(guān)領(lǐng)域開發(fā)經(jīng)驗(yàn),熟悉實(shí)時(shí)業(yè)務(wù)場(chǎng)景的開發(fā)流程與技術(shù)規(guī)范;
2. 掌握Hadoop、Hive、Spark、Kafka等主流大數(shù)據(jù)平臺(tái)技術(shù)及其應(yīng)用場(chǎng)景;
3. 理解Flink核心原理,能熟練使用DataStream API和Flink SQL進(jìn)行任務(wù)開發(fā);
4. 熟練掌握J(rèn)ava、Scala等編程語(yǔ)言,具備扎實(shí)的Java基礎(chǔ)能力;
5. 熟悉Linux常用命令,具備Shell腳本編寫能力,可獨(dú)立完成大數(shù)據(jù)服務(wù)的部署與維護(hù);
6. 了解Redis、HBase、Doris等常見(jiàn)數(shù)據(jù)存儲(chǔ)技術(shù)的特點(diǎn)與適用場(chǎng)景;
7. 理解實(shí)時(shí)數(shù)倉(cāng)基本理念,有實(shí)際參與建設(shè)或優(yōu)化的經(jīng)驗(yàn)者優(yōu)先。