岗位职责:1、负责设计和开发分布式网络爬虫系统,进行多平台、不同维度信息的抓取和分析;2、负责网页信息抽取、数据清洗等研发和优化工作;岗位要求:1、了解各种反反爬手段,以及风控处理2、熟练使用Python语言及常用的类库,基础知识扎实,熟悉多进程、多线程3、熟练使用mysql,mongodb以及redis等数据库,熟悉分布式架构4、有过日百万级数据爬取经验