高級數(shù)據(jù)采集工程師（AGI）

職位類別：

崗位職責(zé):

1. 遵循robots 協(xié)議，對互聯(lián)網(wǎng)公開信息進(jìn)行采集；

2. 負(fù)責(zé)網(wǎng)頁信息抽取技術(shù)算法的研究和開發(fā)，提升數(shù)據(jù)采集的效率和質(zhì)量；

3. 負(fù)責(zé)設(shè)計(jì)和開發(fā)分布式的網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù)，能獨(dú)立解決實(shí)際開發(fā)過程碰到的各類問題(優(yōu)化調(diào)度、并發(fā)、覆蓋率等) ，提升數(shù)據(jù)采集的效果與性能;

4. 負(fù)責(zé)數(shù)據(jù)采集解析入庫、系統(tǒng)異常監(jiān)控與警報(bào)等。

任職要求:

1. 具備扎實(shí)的編程能力、優(yōu)秀的設(shè)計(jì)能力和代碼品味，具有強(qiáng)烈的責(zé)任心

2. 熟練掌握HTML、JavaScript、Python、Scrapy等，能快速完成采集腳本的編寫;

3. 了解主流網(wǎng)絡(luò)數(shù)據(jù)采集技術(shù)和框架工具，如Selenium/Puppeteer/PhantomJS/Scrapy等;

4. 了解NLP基本技術(shù)，實(shí)際使用過如 Fasttext、N-gram、Bert、GPT 等算法和模型者優(yōu)先；

5. 熟悉常見限制訪問服務(wù)器資源和獲取數(shù)據(jù)技術(shù)，具備相關(guān)的實(shí)戰(zhàn)經(jīng)驗(yàn)。