【工作職責】
1、負責設計和開發(fā)高效穩(wěn)定的網(wǎng)絡爬蟲系統(tǒng)，進行多平臺、多類型數(shù)據(jù)抓取與處理。
2、研究和應對各類反爬機制，包括但不限于驗證碼識別、IP封鎖、行為檢測等，保障數(shù)據(jù)獲取的持續(xù)性與穩(wěn)定性。
3、參與數(shù)據(jù)清洗、去重、存儲及初步分析流程的設計與實現(xiàn)。
4、配合前后端開發(fā)，輔助實現(xiàn)數(shù)據(jù)可視化、數(shù)據(jù)管理平臺及相關(guān)內(nèi)部工具的開發(fā)與維護。
5、參與系統(tǒng)架構(gòu)設計，優(yōu)化爬蟲調(diào)度策略與數(shù)據(jù)存儲方案，提升系統(tǒng)性能與可擴展性。
6、跟蹤爬蟲與反爬技術(shù)動態(tài)，持續(xù)優(yōu)化數(shù)據(jù)采集策略與工具鏈。
7、協(xié)助團隊完成日常技術(shù)問題排查與系統(tǒng)運維支持。
【任職要求】
1、本科及以上學歷，計算機、軟件工程或相關(guān)專業(yè)。
2、具備3年以上爬蟲開發(fā)經(jīng)驗，熟悉常見反爬機制及應對方案。
3、具備全棧開發(fā)能力，熟悉前后端開發(fā)技術(shù)：
前端：掌握HTML/CSS/JavaScript，至少了解Vue.js或React之一；
后端：熟悉Java及SpringBoot/SpringCloud框架，或具備Node.js。
4、熟悉數(shù)據(jù)提取與清洗技術(shù)（如XPath、正則表達式、解析庫等），具備結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)處理經(jīng)驗。
5、熟悉常見數(shù)據(jù)存儲方案，包括關(guān)系型數(shù)據(jù)庫（MySQL、PostgreSQL等）和NoSQL數(shù)據(jù)庫（MongoDB、Redis等）。
6、了解網(wǎng)絡協(xié)議、HTTP/HTTPS通信機制，能分析網(wǎng)絡請求與響應，使用抓包工具（如Charles、Fiddler等）。
優(yōu)先/加分條件：
1、熟練掌握Python及相關(guān)爬蟲框架（如Scrapy、Selenium、Playwright等），了解分布式爬蟲原理。
2、有分布式爬蟲架構(gòu)設計經(jīng)驗，熟悉消息隊列（Kafka、RabbitMQ等）、任務調(diào)度系統(tǒng)。

【工作形式】
1、支持100%遠程辦公（無需坐班），或兼職合作（按項目交付結(jié)算）；
2、彈性工作，按時交付項目節(jié)點即可，需配合團隊完成線上進度同步。