大數(shù)據(jù)開發(fā)工程師-數(shù)據(jù)平臺(tái)
1.4-1.6萬元/月任職要求
硬性條件:
本科及以上學(xué)歷
核心技能
具備大數(shù)據(jù)組件源碼級(jí)別開發(fā)經(jīng)驗(yàn)(需熟練掌握以下2-3項(xiàng)):
Spark:深入理解Spark Core/SQL 執(zhí)行引擎、內(nèi)存管理、任務(wù)調(diào)度等核心模塊的底層實(shí)現(xiàn)
Hive:掌握Hive SQL 解析流程、執(zhí)行計(jì)劃優(yōu)化策略(如CBO)、MetaStore 機(jī)制等關(guān)鍵技術(shù)
Trino/Presto:熟悉分布式查詢架構(gòu)、Connector 開發(fā)及執(zhí)行層優(yōu)化能力(如動(dòng)態(tài)過濾機(jī)制)
Ranger:了解權(quán)限管理體系、策略引擎工作原理,具備插件擴(kuò)展開發(fā)經(jīng)驗(yàn)
Doris:熟悉MPP 架構(gòu)、列式存儲(chǔ)格式、查詢優(yōu)化器的設(shè)計(jì)與實(shí)現(xiàn)
編程能力:
熟練掌握 Java/Scala,具備高并發(fā)、高性能系統(tǒng)開發(fā)實(shí)踐經(jīng)驗(yàn)
具備 Python 編程能力(用于腳本或工具開發(fā))者更佳
深刻理解分布式計(jì)算模型(MapReduce/DAG)、分布式存儲(chǔ)系統(tǒng)(HDFS/S3)以及資源調(diào)度框架(YARN/K8s)
熟悉主流大數(shù)據(jù)生態(tài)組件,如 Flink、Kafka、HBase、ClickHouse 等
性能優(yōu)化能力:
能夠通過JVM調(diào)優(yōu)、SQL語句優(yōu)化、并行處理策略調(diào)整等方式提升系統(tǒng)性能
熟練運(yùn)用各類性能分析工具(如 Arthas、Async Profiler、JMX)定位系統(tǒng)瓶頸
加分項(xiàng):
有開源社區(qū)參與經(jīng)歷(如提交PR、修復(fù)Issue、擔(dān)任Committer等)
具備PB級(jí)數(shù)據(jù)規(guī)模集群的運(yùn)維與調(diào)優(yōu)實(shí)戰(zhàn)經(jīng)驗(yàn)
了解云原生大數(shù)據(jù)技術(shù)架構(gòu)(如 Spark on K8s、存算分離方案)
在技術(shù)社區(qū)發(fā)表過博客、論文,或組織主導(dǎo)過內(nèi)部技術(shù)分享活動(dòng)
軟性要求:
對(duì)技術(shù)有強(qiáng)烈熱情,能主動(dòng)跟進(jìn)大數(shù)據(jù)領(lǐng)域最新發(fā)展趨勢(shì)
具備出色的故障排查能力,善于應(yīng)對(duì)復(fù)雜生產(chǎn)環(huán)境問題
具備良好的團(tuán)隊(duì)合作意識(shí)和跨團(tuán)隊(duì)溝通協(xié)調(diào)能力
工作地點(diǎn)首選成都和北京