基本要求
負責基于Hadoop、Spark、Flink等技術的金融級數(shù)據(jù)平臺的規(guī)劃、建設和持續(xù)迭代。
主導數(shù)據(jù)倉庫、數(shù)據(jù)湖/湖倉一體等數(shù)據(jù)體系的設計與實施，包括ODS、DWD、DWS、ADS等數(shù)據(jù)分層建模，并熟悉Iceberg、Hudi等表格式。
負責數(shù)據(jù)采集、集成、清洗、加工的全鏈路開發(fā)，確保數(shù)據(jù)的準確性、完整性和時效性。
實時與離線計算
精通SparkStreaming/StructuredStreaming、Flink等實時計算框架，構建低延遲、高可用的實時數(shù)據(jù)處理管道。
優(yōu)化HiveonTez/Spark、Impala等離線數(shù)據(jù)處理作業(yè)，保障大規(guī)模數(shù)據(jù)計算任務的效率和穩(wěn)定性。
熟練運用Kafka、Flume等組件，解決數(shù)據(jù)接入與集成問題。
性能優(yōu)化與治理
持續(xù)對Hive/Spark作業(yè)進行性能調優(yōu)，具備解決數(shù)據(jù)傾斜、GC（垃圾回收）問題、SQL優(yōu)化等復雜技術難題的能力。
業(yè)務賦能與協(xié)作
深入理解金融業(yè)務（如風控、交易、資產(chǎn)、營銷等），能將業(yè)務需求轉化為清晰的技術方案和數(shù)據(jù)模型。
與業(yè)務部門、數(shù)據(jù)分析師緊密協(xié)作，提供高質量的數(shù)據(jù)支持和服務。


必備條件
-學歷與經(jīng)驗：統(tǒng)招本科及以上學歷，計算機相關專業(yè)，7年及以上大數(shù)據(jù)開發(fā)經(jīng)驗，至少3年銀行業(yè)（背景。
-技術棧：精通Hadoop（HDFS/YARN）、Hive（尤其熟悉HiveonTez）、Spark、Kafka、Flink。熟練使用Impala,Hue等Cloudera數(shù)據(jù)平臺組件。
-數(shù)據(jù)架構：深刻理解數(shù)據(jù)倉庫建模理論（如維度建模），具備大型數(shù)倉或指標體系建設經(jīng)驗。有數(shù)據(jù)湖/湖倉一體項目經(jīng)驗者更佳。
-編程能力：熟練掌握Python和Shell腳本編程，能夠進行自動化腳本開發(fā)和任務調度。


優(yōu)先考慮
-具備Hive/Spark作業(yè)性能調優(yōu)實戰(zhàn)經(jīng)驗，能獨立解決數(shù)據(jù)傾斜等疑難雜癥。
-擁有SparkStreaming/StructuredStreaming或Flink實時計算項目經(jīng)驗。
-熟悉HBase,impala,Sqoop等Hadoop生態(tài)其他組件，了解Kerberos、Ranger等安全認證與權限管理機制。