大数据开发工程师

大数据开发工程师

地点：成都

职责：

承担大数据平台产品开发工作

要求：

1. 计算机相关专业，硕士及以上

2. 2年以上Hadoop平台开发经验。

3. 熟悉linux平台开发，精通Python/Java编程语言中的至少一种；

4. 精通网页抓取原理及技术，熟练使用正则表达式、css path、xpath等，能够从结构化的和非结构化的数据中获取信息;

5. 精通任意一种如scrapy、webmagic、nutch、heritrix等架构，开发分布式系统经验；

6. 有 Redis,kafka，hdfs，mysql开发使用经验优先；

7. 熟悉IP代理池技术，验证码识别技术，广告过滤技术优先；