爬蟲開發(fā)工程師崗位簡介

　　爬蟲開發(fā)工程師是掌握python和網(wǎng)絡(luò)爬蟲技術(shù)，能夠從任何一個(gè)網(wǎng)頁開始，不斷鏈接其它網(wǎng)頁，實(shí)現(xiàn)互聯(lián)網(wǎng)數(shù)據(jù)的索取并開發(fā)相關(guān)軟件的工程技術(shù)人員。

　　爬蟲開發(fā)工程師崗位職責(zé)

　　1、主導(dǎo)和參與爬蟲系統(tǒng)的架構(gòu)設(shè)計(jì)、開發(fā)與優(yōu)化;

　　2、研究優(yōu)化爬蟲算法，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性;

　　3、設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量;

　　4、能獨(dú)立解決實(shí)際開發(fā)過程中碰到的各類問題;

　　5、負(fù)責(zé)大數(shù)據(jù)產(chǎn)品所需網(wǎng)站的信息抓取、解析、清洗等研發(fā)與優(yōu)化工作;

　　爬蟲開發(fā)工程師崗位要求

　　1. 熟悉爬蟲基本原理，熟悉常見的反爬蟲技術(shù)，有爬蟲相關(guān)項(xiàng)目開發(fā)經(jīng)驗(yàn)者優(yōu)先;

　　2. 熟悉http協(xié)議，熟悉html、xpath等常見的數(shù)據(jù)抽取技術(shù)。

　　3. 精通HTML/DOM

　　4. 熟悉JavaScript或ActionScript3

　　5. 熟悉TCP/IP、HTTP、WebSocket協(xié)議

　　6. 有較強(qiáng)的代碼閱讀能力

　　7. 兩年以上破解/逆向分析經(jīng)驗(yàn)

　　8. Python語言

　　9. 參與過多人協(xié)作項(xiàng)目，擁有大批量分布式多線程抓取經(jīng)驗(yàn)者優(yōu)先

　　爬蟲開發(fā)工程師發(fā)展前景

　　其實(shí)爬蟲涉及的東西挺多的，包括JS逆向，安卓逆向、架構(gòu)設(shè)計(jì)這些比較復(fù)雜的知識，尤其是安卓逆向，算是雜學(xué)了，門檻挺高的，競爭力肯定也是可以的。

　　爬蟲所做的工作的結(jié)果，得到的是基礎(chǔ)的數(shù)據(jù)。

　　基礎(chǔ)數(shù)據(jù)之上，有哪些發(fā)揮用途的地方，就有哪些拓寬職業(yè)道路的地方。

　　在基礎(chǔ)數(shù)據(jù)上往上走，數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)展示(可視化或Web)、數(shù)據(jù)應(yīng)用(挖掘)，都可以在這些領(lǐng)域繼續(xù)向前。

　　大數(shù)據(jù)和人工智能時(shí)代下，爬蟲工程師這幾年是路越走越寬的，但是初級爬蟲工程師基本會被八爪魚這類軟件替代，高級爬蟲工程師的能力重點(diǎn)不在于會寫幾個(gè)get，post請求，使用正則解析下文本這么簡單，而是在對數(shù)據(jù)和業(yè)務(wù)本身的立即深刻，對于從數(shù)據(jù)中如何整合挖掘價(jià)值有一整套的思路和方法，包括精通數(shù)據(jù)分析，精通各種數(shù)據(jù)庫。