數(shù)據(jù)采集工程師

職位類別：

一、崗位職責(zé)

1、負(fù)責(zé)設(shè)計、開發(fā)、維護(hù)采集相關(guān)的軟件產(chǎn)品和模塊，開發(fā)主要使用語言為Python；

2、負(fù)責(zé)新聞、論壇、社交平臺、短視頻平臺數(shù)據(jù)采集，包括特定目標(biāo)和定向網(wǎng)站采集，及海量大規(guī)模采集；

3、負(fù)責(zé)所開發(fā)采集模塊和程序維護(hù)及數(shù)據(jù)異常的跟蹤處理。



二、任職要求

1、大學(xué)本科及以上學(xué)歷，計算機相關(guān)專業(yè)；

2、熟悉Linux開發(fā)環(huán)境；熟練掌握Python語言；

3、熟悉網(wǎng)頁抓取原理及技術(shù)，熟悉基于Cookie的網(wǎng)站登錄原理，熟悉基于正則表達(dá)式、Xpath、CSS等網(wǎng)頁信息抽取技術(shù)；

4、響應(yīng)抓取需求,能快速高效的完成開發(fā)任務(wù),具備良好的溝通能力和管理能力；

5、具備信息檢索、web挖掘等搜索引擎相關(guān)知識，有從事海量網(wǎng)絡(luò)爬蟲、網(wǎng)頁去重、網(wǎng)頁信息抽取經(jīng)驗；

6、工作態(tài)度踏實、認(rèn)真、積極主動，能承受一定工作壓力，有責(zé)任心、有團(tuán)隊協(xié)作能力；

7、熟悉Xposed框架、App逆向相關(guān)技術(shù)者優(yōu)先。