爬蟲開發(fā)工程師
1.5-2萬元/月崗位職責(zé)(自研項目)
1. 依據(jù)業(yè)務(wù)需求,規(guī)劃并實現(xiàn)高效穩(wěn)定的網(wǎng)絡(luò)爬蟲架構(gòu),完成多渠道數(shù)據(jù)的自動化采集與集成;
2. 承擔(dān)爬蟲系統(tǒng)的日常運(yùn)維與性能調(diào)優(yōu),攻克反爬策略、IP限制、數(shù)據(jù)清洗等關(guān)鍵技術(shù)問題;
3. 持續(xù)跟蹤國內(nèi)外主流爬蟲技術(shù)發(fā)展,引入先進(jìn)框架與方法,提升團(tuán)隊整體開發(fā)水平與效率;
4. 編寫完整的開發(fā)文檔、技術(shù)方案及操作指南,完善并優(yōu)化爬蟲開發(fā)流程與規(guī)范體系;
5. 嚴(yán)格遵循數(shù)據(jù)合規(guī)與隱私保護(hù)相關(guān)法規(guī),確保數(shù)據(jù)抓取行為合法,保障系統(tǒng)與信息安全性;
6. 建立爬蟲運(yùn)行監(jiān)控體系,實時掌握系統(tǒng)狀態(tài),及時發(fā)現(xiàn)并處理異常告警與故障問題;
7. 協(xié)同團(tuán)隊推進(jìn)其他與爬蟲相關(guān)的技術(shù)工作,主動參與技術(shù)交流與團(tuán)隊能力建設(shè)。
任職要求
1. 本科及以上學(xué)歷,計算機(jī)、軟件工程、信息技術(shù)等相關(guān)專業(yè),具備3年以上網(wǎng)絡(luò)爬蟲開發(fā)經(jīng)驗;
2. 精通Python語言,熟練運(yùn)用Scrapy、BeautifulSoup、Selenium、Requests等常用爬蟲工具與框架;
3. 掌握常見反爬機(jī)制應(yīng)對方案,包括驗證碼處理、動態(tài)頁面加載、IP代理管理等技術(shù)手段;
4. 具備扎實的數(shù)據(jù)庫設(shè)計與操作能力,熟悉MySQL、MongoDB等主流數(shù)據(jù)庫的應(yīng)用;
5. 熟悉《網(wǎng)絡(luò)安全法》《個人信息保護(hù)法》等數(shù)據(jù)合規(guī)法律法規(guī),有合規(guī)類項目實踐者優(yōu)先;
6. 具備出色的邏輯分析與問題解決能力,可獨立承擔(dān)爬蟲系統(tǒng)的設(shè)計、開發(fā)與維護(hù)任務(wù);
7. 具備良好的團(tuán)隊協(xié)作意識與溝通能力,學(xué)習(xí)意愿強(qiáng),樂于技術(shù)探索與知識分享;
8. 有藍(lán)領(lǐng)招聘或人力資源領(lǐng)域數(shù)據(jù)采集項目經(jīng)驗者優(yōu)先考慮。