Python爬蟲(chóng)開(kāi)發(fā)工程師負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)分布式的網(wǎng)絡(luò)爬蟲(chóng)應(yīng)用，進(jìn)行互聯(lián)網(wǎng)相關(guān)信息的抓取和分析，設(shè)計(jì)策略和算法，提升網(wǎng)頁(yè)抓取的效率和質(zhì)量，進(jìn)一步解決系統(tǒng)的網(wǎng)頁(yè)排重、垃圾、控制、資源劃分都問(wèn)題。