大數(shù)據(jù)開發(fā)工程師(外派至聯(lián)想)
1.1-1.6萬元/月核心技能
具備大數(shù)據(jù)組件源碼層級開發(fā)經(jīng)驗(需熟練掌握以下2-3項):
Spark:深入理解Spark Core/SQL執(zhí)行引擎、內(nèi)存管理機制及任務調(diào)度模塊的底層實現(xiàn)
Hive:掌握Hive SQL解析流程、執(zhí)行計劃優(yōu)化策略(如基于成本的優(yōu)化CBO)以及MetaStore核心架構(gòu)
Trino/Presto:熟悉其分布式查詢執(zhí)行原理、Connector定制開發(fā)及性能優(yōu)化技術(shù)(如動態(tài)過濾機制)
Ranger:了解權(quán)限管理體系、策略決策引擎及其插件化擴展機制的開發(fā)方式
Doris:掌握MPP計算模型、列式存儲結(jié)構(gòu)設計與查詢優(yōu)化器的具體實現(xiàn)
編程能力:
熟練掌握 Java/Scala,具備高并發(fā)、高性能系統(tǒng)編碼實踐經(jīng)驗
具備 Python 腳本或工具開發(fā)能力者更優(yōu)
深刻理解分布式計算模型(MapReduce/DAG)、分布式存儲系統(tǒng)(HDFS/S3)及資源調(diào)度框架(YARN/K8s)
熟悉主流大數(shù)據(jù)生態(tài)組件(Flink/Kafka/HBase/ClickHouse等)的使用與集成
性能優(yōu)化經(jīng)驗:
能夠通過JVM參數(shù)調(diào)優(yōu)、SQL語句優(yōu)化、并行度調(diào)整等方式提升系統(tǒng)運行效率
熟練運用各類性能分析工具(如Arthas/Async Profiler/JMX)定位系統(tǒng)瓶頸
加分項
有開源社區(qū)參與經(jīng)歷(如提交PR、修復Issue、擔任Committer等)
具備PB級數(shù)據(jù)規(guī)模集群的實際調(diào)優(yōu)與運維經(jīng)驗
了解云原生環(huán)境下大數(shù)據(jù)架構(gòu)(如Spark on K8s、存算分離架構(gòu))
在技術(shù)社區(qū)發(fā)表過原創(chuàng)文章、論文或主導過內(nèi)部/外部技術(shù)分享活動
軟性要求
對技術(shù)有強烈熱情,能持續(xù)關(guān)注并學習大數(shù)據(jù)領域最新發(fā)展趨勢
具備出色的故障排查能力,善于應對復雜生產(chǎn)環(huán)境中的疑難問題
具備良好的團隊合作意識及跨團隊溝通協(xié)作能力