大数据开发专题汇总

大数据开发岗位职责 (5条)

大数据开发(岗位职责)


职位描述

岗位描述:

1. 参与国内第一个基于物联网的能源互联网项目的的架构设计和开发;

2. 实时数据预警功能开发;

3. 批量数据统计分析功能开发。

 

岗位要求:

1. 1-3年的工作经验,参与过两个以上的大数据项目;

2.  熟悉分布式计算系统理念,熟练掌握HDFS,MR,Hbase,Hive,Spark 等大数据开发工具;

3.  具有Java编程能力,熟悉SQL开发,MySQL、PostgreSQL、Oracle等关系型数据库中的一种;

4.  热爱大数据技术,有强烈求知欲;

5.  沟通能力强,有团队意识。

 

 

此数据摘自相关公司实际发布的招聘要求

大数据开发(岗位职责)


职位描述

职责描述:

1、 负责spark平台数据分析和清洗工作;

2、负责基于spark的ETL开发;

3、 基于大数据平台的模型设计与数据处理工作;

4、负责hadoop集群的开发、优化和维护。

职位要求:

1、精通hadoop、spark、hive、hdfs、hbase等分布式框架;

2、对分布式计算有深入的理解,熟悉MapRequest编程;

3、掌握Python使用,熟悉linux系统,能编写shell脚本;

4、了解hadoop平台的管理和优化;

5、熟悉mahout数据挖掘知识;

6、认真、负责、良好的团队沟通能力。


此数据摘自相关公司实际发布的招聘要求

大数据开发(岗位职责)


职位描述

岗位职责:

1、负责大数据数据挖掘、数据分析的研究和开发;

2、负责大数据平台建设项目的实施;

3、参与大数据处理与业务应用的协同处理。

任职要求:

1、具备研究或研发项目经历,相关工作经验丰富者优先考虑;

2.有Hadoop集群搭建和管理经验者优先考虑,有海量数据挖掘算法开发经验者优先考虑,兼有Oracle,MySQL,NoSQL开发经验者优先考虑,具备丰富的大中型开发项目的总体规划、方案设计经验者优先考虑;
3、应具备以下技能,精通者优先考虑:

(1)了解大数据分析处理(Hadoop,HDFS, MapReduce,Hbase,Pig,Hive)等技术内部机制;

(2)扎实的Java语言基础,熟悉Java开发工具和调试工具的使用;

(3)熟悉Linux系统,熟练使用shell/perl/python脚本处理问题;
(4)熟悉主流数据挖掘算法开发。


此数据摘自相关公司实际发布的招聘要求

大数据开发(岗位职责)


职位描述

工作职责:

    1、游戏大数据采集及预处理程序开发、维护,优化;

    2、游戏大数据平台数据清洗、转换、建模的开发工作,处理离线数据;

    3、数据逻辑计算脚本设计,开发;

    4、保证大数据平台数据与源系统数据准确性;

    5、storm平台开发结合业务的应用,处理实时数据,实时应用场景的开发;

    6、大数据平台的运维工作,持续完善大数据平台,保证稳定性、安全性。

岗位要求:

    1、有分布式计算工具使用经验(hadoop,hive,hbase,pig,presto,drill,spark等一种或多种);

    2、有实时计算相关处理经验(kafka,storm,s4等一种或多种);

    3、熟悉linux系统,熟练使用shell/perl/php/python/ruby中的一种或多种;

    4、有独立解决技术问题的能力,文档编写能力,沟通和协作能力等;

    5、具有较强的团队意识,高度的责任感,对工作积极严谨,勇于承担压力;

    6、有海量数据挖掘算法开发者经验者优先;

    7、具有友盟、talkingdata、uc、91等渠道平台或游戏行业工作经验优先。


此数据摘自相关公司实际发布的招聘要求

大数据开发(岗位职责)


职位描述

1、 计算机或相关专业本科及以上学历 ,从事数据仓库领域至少2年以上;

2、 具有丰富的数据开发经验,对数据处理、数据建模、数据分析等有深刻认识和实战经验  ;

3、 掌握至少一种数据库开发技术:Oracle、Teradata、DB2、Mysql等,灵活运用SQL实现海量数据加工处理  ; 

4、 有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop生态相关技术并有相关实践经验着优先,重点考察Hdfs、Mapreduce、Hive、Hbase ;

5、 掌握实时流计算技术,有storm开发经验者优先;

6、 积极乐观、诚信、有责任心;具备强烈的进取心、求知欲及团队合作精神;


此数据摘自相关公司实际发布的招聘要求