职位描述：
1.负责设计、开发、维护大数据分析处理相关的软件产品和模块，开发主要使用语言为Java、python；
2. 搭建数据采集平台，建立爬虫系统，通过对数据的抓取、解析、调度、存储等模块的拆分与优化，构建和完善统一的抓取服务平台；
3.负责网页信息抽取等核心算法的研究和优化；
4.负责重点目标站点的结构与URL特点分析，负责垂直领域与定向网站的数据采集、维护及数据异常的跟踪处理, 用脚本和程序对大规模数据进行处理和分析。

职位要求：
1.有扎实的数据结构和算法功底；
2.工作认真细致踏实，有较强的学习能力；
3.熟悉linux开发环境，熟悉C#和python语言者优先；
4.熟悉Mysql 数据库，熟悉Mongodb 数据库者优先；
5.有爬虫，信息抽取，文本分类相关经验者优先；
6.理解http，熟悉html, DOM, xpath优先；
7.有实体提取，分词优化，情感分析等文本挖掘工作经验者优先；
8. 有过1年以上数据爬取或者处理经验， 条件优秀的应届毕业生也可考虑。