亚洲网站自偷自拍另类,亚洲無碼免費視頻,色婷婷综合激情中文在线,国产亚洲欧洲综合777,偷拍精品视频一区二区三区果冻传,亚洲人妻中出,中出人妻AV网站,欧美牲交a欧牲交aⅴ久久,国产精品自在在线午夜,99在线精品国自产拍中文字幕

職位描述:
1、負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)平臺(tái)的架構(gòu)設(shè)計(jì)與開(kāi)發(fā)
(如抓取調(diào)度，多樣化抓取，頁(yè)面解析和結(jié)構(gòu)化抽取)、技術(shù)選型:
2、研究爬蟲(chóng)策略和防屏蔽規(guī)則，解決封賬號(hào)、封IP、驗(yàn)證碼、混淆加密，算法還原，so層，頁(yè)面跳轉(zhuǎn)等難點(diǎn)攻克，提升網(wǎng)頁(yè)抓取的效率和質(zhì)量:
3、對(duì)抓取后的數(shù)據(jù)進(jìn)行清洗、存儲(chǔ)等，并持續(xù)優(yōu)化平臺(tái)，以便滿足各種爬取業(yè)務(wù)需求。
崗位要求:
1.精通Python語(yǔ)言或者Java語(yǔ)言，至少熟練掌握主流爬蟲(chóng)框架中的一種:熟悉常用的庫(kù)requests/gevent等
2.了解各種加密算法，在破解驗(yàn)證碼方面有豐富經(jīng)驗(yàn)，能夠獨(dú)立解決is反爬和模擬登陸問(wèn)題:
3.熟練掌握正則表達(dá)式、XPath、CSS等網(wǎng)頁(yè)信息抽取技術(shù):
4.熟悉常見(jiàn)反爬機(jī)制，驗(yàn)證碼識(shí)別，IP代理池
應(yīng)用lp池、headers認(rèn)證和cookie等
5.熟練掌握應(yīng)用Selenium、PhantomJS
Splash、Puppeteer實(shí)施動(dòng)態(tài)抓取;
6.熟悉熟練使用charles、fiddler等抓包工具者優(yōu)先;
7熟悉數(shù)據(jù)清洗，能夠用numpy、pandas
iieba等工具對(duì)數(shù)據(jù)進(jìn)行處理者優(yōu)先:
8.熟悉mvsgl、mongodb、redis.
rabbitMQ、kafka、spark者優(yōu)先
聯(lián)系我時(shí)，請(qǐng)說(shuō)是在臨沂招聘網(wǎng)上看到的，謝謝！