亚洲国产日韩精品一区二区三区,www.国产在线,国产大片一级,精品二区视频,成人福利免费在线观看,亚洲成人激情在线观看,国产精品久久久久久久久久免费看

職位描述：
1、負責設計和開發(fā)分布式網(wǎng)絡爬蟲系統(tǒng)，進行數(shù)據(jù)抓取和分析；
2、設計爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質量；
3、參與分布式爬蟲和數(shù)據(jù)采集系統(tǒng)的架構設計和開發(fā)，快速響應業(yè)務變動；
4、負責網(wǎng)絡數(shù)據(jù)抓取規(guī)劃、定期爬取指定網(wǎng)站的數(shù)據(jù)；
5、參與數(shù)據(jù)層建設，專注于垂直領域數(shù)據(jù)爬取，進行多平臺信息的抓取和分析；
6、實現(xiàn)數(shù)據(jù)提取、清洗、結構化、入庫、統(tǒng)計分析等需求；
7、研究優(yōu)化算法，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴展性。
任職要求：
1、本科及以上學歷，5年以上爬蟲抓取采集相關工作經(jīng)驗，爬蟲基礎扎實；
2、熟練Python和常用的開源庫，熟練使用Django/Flask等至少一種主流的web開發(fā)框架；
3、熟練Mysql，MongoDB， Redis，Es，隊列等數(shù)據(jù)庫的使用和優(yōu)化；
4、對進程、線程、協(xié)程、異步、非阻塞有一定了解和使用；
5、熟練掌握爬蟲主流框架Scrapy、Selenium、gocolly，webmagic等（深入了解其中一種）；
6、熟悉應用IP代理池、Headers認證和Cookie等；
7、熟悉分布式爬蟲，JS防護、混淆、逆向分析等技能，熟悉各種瀏覽器檢測/反檢測手段；
8、熟悉Python/Java/Go/C++其中一種語言，具備扎實的編碼能力；
9、責任心強、工作積極、良好的服務意識、較強的工作適應能力，自我驅動；
10、加分項：逆向、分布式、數(shù)據(jù)分析、數(shù)據(jù)挖掘；有訓練過自己的模型；github或者碼云有相關開源項目；有海量代理池搭建經(jīng)驗；有采集政府網(wǎng)址經(jīng)驗優(yōu)先考慮；

職位類別： 軟件工程師

舉報