聯(lián)邦算法工程師
1.5-3萬元/月職位描述:
我們正在尋找一位經驗豐富的 基于 FATE 框架的開發(fā)工程師,負責開發(fā)、維護和優(yōu)化基于 FATE 框架的聯(lián)邦學習解決方案。該職位需要具備深厚的機器學習、數(shù)據科學和分布式系統(tǒng)知識,以及在聯(lián)邦學習領域的實際經驗。
主要職責:
FATE 框架開發(fā):
設計和實現(xiàn)基于 FATE 框架的聯(lián)邦學習解決方案。
開發(fā)和優(yōu)化數(shù)據預處理、模型訓練、模型評估和模型部署的流程。
解決聯(lián)邦學習中的數(shù)據對齊、模型收斂和通信優(yōu)化等問題。
模型開發(fā)與優(yōu)化:
使用 FATE 支持的機器學習算法(如線性回歸、邏輯回歸、決策樹等)進行模型開發(fā)。
優(yōu)化模型性能,確保模型在多方協(xié)作環(huán)境下的高效性和準確性。
系統(tǒng)集成與部署:
將 FATE 框架集成到現(xiàn)有的數(shù)據科學和機器學習平臺中。
負責模型的部署和推理,確保模型在生產環(huán)境中的穩(wěn)定性和可靠性。
技術支持與文檔編寫:
為團隊成員和客戶提供技術支持,解決使用 FATE 框架時遇到的問題。
編寫技術文檔,包括開發(fā)指南、用戶手冊和最佳實踐。
任職要求:
教育背景:
計算機科學、數(shù)據科學、統(tǒng)計學或相關領域的本科及以上學歷。
工作經驗:
至少 2 年以上 FATE 框架開發(fā)經驗,熟悉 FATE 的核心功能和架構。
技術技能:
精通 Python 編程語言,熟悉 PyTorch、TensorFlow 等深度學習框架。
熟悉分布式系統(tǒng)、數(shù)據存儲和處理技術(如 Hadoop、Spark、Hive 等)。
熟悉機器學習算法和模型評估方法,具備實際的模型開發(fā)和優(yōu)化經驗。
軟技能:
良好的溝通能力和團隊合作精神,能夠與跨職能團隊有效協(xié)作。
具備問題解決能力和創(chuàng)新思維,能夠獨立解決復雜的技術問題。
優(yōu)先考慮:
有聯(lián)邦學習、多方協(xié)作或數(shù)據隱私保護相關項目經驗者優(yōu)先。
有開源項目貢獻經驗者優(yōu)先。
具有知識圖譜經驗優(yōu)先
1. 參與知識圖譜的規(guī)劃與設計:理解業(yè)務需求,設計本體模型(定義實體、屬性、關系的類型和層次結構),制定圖譜構建的技術方案。
2. 知識圖譜的構建與開發(fā):
· 數(shù)據獲取與處理:從多源異構數(shù)據(結構化數(shù)據庫、非結構化文本、日志、第三方API等)中抽取信息。
· 知識抽取:運用NLP技術(如實體識別、關系抽取、屬性抽取、事件抽?。奈谋局凶詣踊崛≈R。
· 知識融合:解決實體對齊問題(判斷不同來源的“蘋果公司”和“Apple Inc.”是否為同一實體),消除沖突與歧義,構建統(tǒng)一的知識庫。
· 知識存儲:將結構化知識存入圖數(shù)據庫(如Neo4j, JanusGraph, Nebula Graph)或RDF三元組存儲。
3. 知識圖譜的維護與優(yōu)化:建立知識更新的流程與機制,監(jiān)控數(shù)據質量,持續(xù)迭代和優(yōu)化圖譜的規(guī)模、準確度和新鮮度。
4. 跨團隊協(xié)作:與業(yè)務部門、數(shù)據團隊、算法團隊、前后端開發(fā)團隊緊密合作,確保圖譜能有效支撐上層應用。
A. 知識圖譜算法工程師
· 核心:專注于圖譜構建與挖掘中的算法與模型。
· 具體職責:
· 研發(fā)和優(yōu)化知識抽取、實體鏈接、關系抽取的NLP/深度學習模型(如基于BERT、GPT的微調模型)。
· 研究和應用圖表示學習技術,將實體和關系嵌入到低維向量空間。
· 開發(fā)圖挖掘算法,如社區(qū)發(fā)現(xiàn)、路徑推理、節(jié)點分類、鏈接預測等。
· 跟蹤學術界和工業(yè)界前沿技術,并將其應用于實際業(yè)務場景。
B. 知識圖譜構建/數(shù)據工程師
· 核心:專注于圖譜構建的數(shù)據流水線、工程化與基礎設施。
· 具體職責:
· 搭建穩(wěn)定、高效、可擴展的知識圖譜數(shù)據管道。
· 處理大規(guī)模數(shù)據的抽取、清洗、轉換和加載工作。
· 管理和優(yōu)化圖數(shù)據庫,確保其高性能、高可用性。
· 設計和實現(xiàn)知識融合、質量校驗的工程框架。
· 開發(fā)輔助構建工具,提升知識錄入和管理的效率。
C. 圖譜應用開發(fā)工程師
· 核心:專注于基于知識圖譜的上層應用開發(fā)與API服務。
· 具體職責:
· 設計和開發(fā)知識圖譜的查詢接口和服務,如通用/領域特定的圖譜查詢API。
· 基于圖譜開發(fā)智能應用,如智能問答、個性化推薦、風險控制、情報分析系統(tǒng)等。
· 與前端團隊協(xié)作,實現(xiàn)圖譜的可視化展示與交互(如關系網絡圖)。
· 優(yōu)化圖譜查詢性能,滿足業(yè)務端低延遲、高并發(fā)的需求。
技能與要求
· 硬技能:
· 計算機基礎:扎實的數(shù)據結構、算法、編程(Python/Java/Scala)能力。
· 數(shù)據庫:熟悉圖數(shù)據庫、關系型數(shù)據庫,熟練使用SQL、Cypher、Gremlin等查詢語言。
· 大數(shù)據技術:了解Hadoop、Spark、Flink等分布式計算框架。
· NLP/機器學習:熟悉常見的NLP任務和模型,了解機器學習框架(PyTorch/TensorFlow)。
· 工具:熟悉NLP工具(如Spacy, Stanza)和圖分析工具(如NetworkX)。
· 軟技能:
· 強大的邏輯思維和抽象建模能力。
· 優(yōu)秀的問題分析與解決能力。
· 良好的溝通能力和團隊協(xié)作精神。
1. 負責金融/醫(yī)療/電商等領域知識圖譜的構建,包括本體設計、知識抽取、融合與存儲。
2. 研發(fā)并優(yōu)化實體識別、關系抽取、事件抽取等核心NLP算法,提升自動化構建的準確率與效率。
3. 探索和應用圖神經網絡、表示學習等前沿技術,實現(xiàn)基于圖譜的深度推理與挖掘。
4. 與業(yè)務團隊合作,將知識圖譜能力賦能于智能搜索、風險防控、投研助手等實際場景。
5. 跟蹤領域內最新技術動態(tài),推動團隊技術方案的創(chuàng)新與升級。
任職要求:
1. 計算機、人工智能、數(shù)學等相關專業(yè)碩士及以上學歷。
2. 熟練掌握Python,熟悉PyTorch/TensorFlow框架,有扎實的編碼和算法基礎。
3. 深入理解NLP常見任務與模型,有知識圖譜相關項目經驗者優(yōu)先。
4. 熟悉至少一種圖數(shù)據庫(如Neo4j, Nebula Graph)和使用。
5. 具備優(yōu)秀的邏輯分析能力和解決問題的能力,對挑戰(zhàn)性問題充滿熱情。