一、岗位职责：
1.负责优化已有爬取任务，提高任务的时效性于准确性，增加爬虫资源的利用率；
2.攻坚各种合规公开的数据爬取；
3.负责对爬取数据进行一定的清洗入库。
二、岗位要求：
1、本科及以上，计算机、软件工程等相关专业；
2、熟练使用Python，熟悉 Redis, MySQL, Gevent, Scrapy, Pandas, HTTP协议；
3、可以熟练地用pandas对数据进行清洗，对多网站爬虫有自己的想法
4、结果导向，做事有条理，自我驱动，具有强烈的好奇心、责任心。