【崗位職責(zé)】：
1、負(fù)責(zé)動(dòng)態(tài)網(wǎng)頁數(shù)據(jù)的采集，并對(duì)采集到的數(shù)據(jù)進(jìn)行分類、解析、分析、清洗及存儲(chǔ)管理；
2、具備3年以上c#開發(fā)經(jīng)驗(yàn)，編程基礎(chǔ)牢固，熟練掌握io、多線程與并發(fā)編程技術(shù)；
3、主導(dǎo)爬蟲核心技術(shù)研發(fā)與策略優(yōu)化工作，保障所獲取數(shù)據(jù)的準(zhǔn)確性與完整性；
4、攻克關(guān)鍵技術(shù)難點(diǎn)，處理開發(fā)過程中遇到的各類實(shí)際問題。

【崗位要求】：
1、本科及以上學(xué)歷，計(jì)算機(jī)相關(guān)專業(yè)背景，具有3年以上爬蟲領(lǐng)域工作經(jīng)驗(yàn)；
2、熟悉網(wǎng)頁抓取機(jī)制及相關(guān)技術(shù)，掌握正則表達(dá)式、httpClient、jSoup、Xpath、CSS等信息提取方法，了解主流爬蟲框架的使用；
3、具備良好的問題分析與解決能力，熟悉常見爬蟲與反爬技術(shù)，包括動(dòng)態(tài)頁面采集、瀏覽器模擬采集及App數(shù)據(jù)抓?。?br>4、有自然語言處理、語法句法分析、文本分類/聚類、圖像識(shí)別等相關(guān)經(jīng)驗(yàn)者優(yōu)先考慮；
5、具備hadoop、Spark、HBase、Storm、Hive等大數(shù)據(jù)平臺(tái)的設(shè)計(jì)、部署與開發(fā)經(jīng)驗(yàn)者優(yōu)先；
6、需具備2年海外航空公司數(shù)據(jù)抓取經(jīng)驗(yàn)，能有效應(yīng)對(duì)國際環(huán)境中的PerimeterX、shape、Tls指紋、cloudflare、reCAPTCHA等反爬封鎖機(jī)制；