大数据开发工程师专题汇总
大数据开发工程师专题汇总
主要工作职责:
1、 负责基于Impala、Spark平台的数据ETL、数据处理、数据发布开发；
2、 负责数据处理性能调优，对数据库整体架构提出建议；
3、 参与公司一些平台化产品的开发。
任职要求：
1、 有工作责任心，有主动性，思维清晰，愿意钻研技术，有一定的承压能力；
2、 至少掌握一门关系数据库应用开发（如，oracle、mysql、Impala等）
3、 对大数据处理业务有较足的兴趣，熟悉hadoop概念和生态体系，有相关经验者优先；
4、 良好的团队合作精神，能够承受工作压力；
岗位职责：
1、根据业务/产品/项目的需求和计划，完成软件设计、开发、测试和发布等实施工作。
2、为业务运营提供技术支持，完成应用系统的升级、优化、日常维护和数据处理等。
3、编写系统的需求分析、设计、开发和部署文档等。
任职要求：
1、信息类或计算机类相关专业本科以上学历，掌握扎实的IT基础知识。
2、熟练掌握Java编程语言，具有两年以上JavaEE开发经验。
3、熟悉面向对象编程、主流Java框架，熟练使用eclipse等IDE。
4、熟练掌握MySQL、Oracle等数据库的使用和应用开发。
5、熟悉Linux/Unix的基本使用, 能独立搭建Linux/Unix应用部署。
6、具有较强的逻辑思维、学习能力和解决问题的能力，能够独立承担任务。
7、具有良好的团队协作精神和沟通能力，能够承担较大工作压力。
8、有大数据应用、大型互联网应用项目经验者优先。
此数据摘自相关公司实际发布的招聘要求岗位职责：
- 参与云产品的应用开发，和团队一起实现数据的应用需求；
- 我们的产品是一个云部署应用平台，着重于大数据建模开发。你将会为多个核心模块工作，希望是一个多面手，能够适应敏捷开发。
任职要求：
- 熟悉云服务部署，至少有一种云平台操作经验，Azure，AWS，UCloud，QingCloud等
- 2年以上数据分析及建模相关经验，熟悉常用机器学习算法及应用
- 熟练使用SQL，能够进行分析查询
- 熟悉至少一种数据挖掘算法开发语言（Python/R），并有实际项目经验
- 熟悉Hadoop开发，并有实际项目经验
职位描述：
1.基于hadoop、spark等构建数据分析平台，进行设计、开发分布式计算业务；
2.辅助管理Hadoop集群运行，稳定提供平台服务；
3.基于Spark技术的海量数据的处理、分析、统计和挖掘；
4.基于Spark框架的数据仓库的设计、开发和维护；
5.根据需求使用Spark Streaming和Spark SQL进行数据处理、查询和统计等工作。
岗位要求：
1.大专及以上学历，计算机相关专业；
2.3年及以上大数据开发经验；
3.熟悉HDFS/HBase/Hive/MapReduce/spark，有丰富的分布式编程经验；
4.熟悉Spark Streaming和Spark SQL；
5.熟悉Core Java，熟悉Java IO, NIO, 多线程编程， 熟悉JVM运行机制和内存管理，网络协议；
6.熟练掌握Linux操作系统，熟悉shell等脚本编程；
7.有在Spark相关项目中应用Java或Python语言的经验者优先;
8.有过海量数据系统开发经验者优先；
9.有良好的语言沟通能力，能够协调团队成员及相关部门开展分工及合作。
工作职责：
1. 根据大数据市场的人才需求和学校教学需求，对大数据实训产品进行产品设计和系统架构；
2. 开发、测试大数据实训产品；
岗位要求：
1. 2年以上工作经验，数学、统计学、计算机信息类等专业背景；
2. 熟练掌握Java；
3. 熟悉Hadoop、Hbase、Hive、Zookeeper ；
4. 掌握mapreduce、spark等分布式数据存储和分布式计算平台原理，具有相关系统的调优、运维、开发经验；
5. 熟悉linux开发环境；
6. 对数据结构、算法有深刻理解，有数据挖掘经验（优先）；
7. 有Python开发经验（优先）；
工作职责：
根据课程安排进行相关大数据课程讲授；
参与课程研发团队进行相关培训教案、大纲的设计、编订，课件的制作；
熟练掌握Hadoop架构工作原理及生态圈（Hive/Pig/Hbase/Zookeeper/Sqoop等）分布式技术和工具；
熟悉掌握Spark、Storm等流式处理架构及工作原理相关知识；
熟练Java语言基础知识（jdbc,net,io,xml,多线程,反射等）熟悉Linux常用命令并能编写简单shell
具有较强的逻辑思维能力及出色的沟通表达能力，掌握常用教学方法学和授课技巧，有相关IT培训经验者优先；
具有较强的责任感，热爱培训事业，能主动与学生沟通，关心学生，并督促学生认真学习；
任职资格：
计算机或相关专业，大专及其以上学历及3年以上工作经验；
3年以上Hadoop大数据开发或培训经验；
优秀的英语听说读写能力及沟通能力；
具备讲师经验；
阅读过开源框架源码者优先；
岗位描述：
1.负责数据接入、数据清洗、数据转换，基于阿里云的基础设施来构建企业大数据处理平台
2.基于大数据处理平台来进行业务分析
岗位要求：
1.计算机或相关专业本科以上学历；
2.两年以上数据库/数据仓库/数据分析/数据挖掘方面相关工作经验
3.熟悉数据仓库和数据建模的相关技术，熟悉SQL/Hadoop/Hive/Spark等大数据分析工具
4.能使用C++/JAVA/python/SHELL进行程序开发；
5.具有海量数据处理经验，或有互联网/银行/金融证券/咨询/电信背景者为佳
【工作职责】
1.参与大数据平台的搭建、开发与维护工作；
2.负责大数据平台相关技术的发展及研究；
3.负责大数据平台相关技术培训及指导工作；
4.参与大数据平台相关项目的研发工作。
【任职条件】
1.本科及以上学历；
2.熟悉linux操作系统，熟悉Java、Python等编程语言；
3.有分布式系统实践经验，熟悉Hadoop/HBase/Spark/Storm等；
4.具备强烈的进取心、自我学习能力,良好的沟通能力和团队合作意识。
岗位职责：
1、负责大数据平台软件环境搭建及维护；
2、负责大数据技术的研究及应用；
3、负责异构数据收集并加载到大数据平台；
4、负责网络数据抓取规划并提供网络信息提取解决方案。
任职要求：
1、熟悉Hadoop的体系架构和运行原理，有Hadoop方面项目经验；
2、对Hadoop的MapReduce原理有深入研究，有JAVA或Python语言环境下的MapReduce实际开发及部署、调优及维护经验；
3、具有构建及优化基于Hadoop/Hive/Hbase的海量存储产品设计及调优能力
4、具有数据分析、数据挖掘，文本挖掘、海量数据处理相关经验；
5、有Linux、Unix系统安装维护经验，熟悉常用Linux系统维护、监控工具，能快速定位系统瓶颈，具备Linux常用服务配置能力，会编写shell脚本；
6、善于沟通、有良好的团队合作精神、高度的工作责任心和敬业精神。
岗位职责：
1. 参与公交行业大数据分析、大数据处理、数据挖掘等系统的设计和开发；
2. 根据业务需求进行数学建模，设计并开发高效算法，并对模型及算法进行验证和实现，解决实际业务问题；
3. 负责分布式数据库系统相关运维/辅助工具研发；
4. 负责改善分布式数据库可用性、易用性，及技术难点攻关；
5. 具有应用各种机器学习、数据挖掘技术进行数据分析与数据挖掘者优先。
基本条件
1. 身体健康，五官端正：20-35岁之间；
2. 具有大学本科（含）以上学历，相关专业毕业；
3. 能够熟练操作办公软件；
4. 具有良好的文字表达能力和沟通协作能力；
5. 有良好的团队合作意识及敬业精神。
任职要求：
1. 精通java开发，有完整项目实施经验；
2. 有1年以上大数据或数据仓库项目经验及了解数据仓库相关理论知识者优先；
3. 熟悉Hadoop及Map-Reduce应用开发者优先，熟悉HBase、Hive、Pig、Storm等大数据开发工具者优先；
4. 精通SQL开发，精通Mysql、Oracle等关系型数据库中的一种；
5. 熟悉Linux系统，具备shell、perl等脚本开发能力；
6. 熟悉nginx、resin者优先；
7. 学习能力强，喜欢研究新技术，有团队观念，具备独立解决问题的能力
8. 对计算机系统、网络和安全、应用系统架构等有全面的认识，熟悉项目管理理论，并有实践基础；
9. 在应用系统开发平台和项目管理上有深厚的基础，有大中型应用系统开发和实施的成功案例。
工作职责：
1、 参与公司大数据项目或产品的规划和调研工作。
2、负责公司的大数据处理框架的研发工作，设计与开发分布式存储、数据 处理与分析架构。
3、大数据平台的运维工作，持续完善大数据平台，保证稳定性、安全性。4、负责大数据产品及项目研发团队的组织与管理，并进行相关技术培训。5、关注大数据类技术方向，进行持续跟踪和学习以及技术攻关工作。
6、定期与上级进行工作反馈，发现和改进工作中存在的问题。
任职要求：
1、 精通Hadoop大数据平台架构，有Map/Reduce开发运维经验，熟悉 Hive；
2、具有Strom实时平台、HBase等大数据项目经验者优先；
3、有丰富SQL开发经验，精通MySQL、Oracle等关系型数据库中的一种；4、 具备良好的JAVA开发技能，对主流框架技术有深入了解；
5、熟悉Linux系统，熟练使用shell/perl/python脚本处理问题；
6、熟悉非结构化数据相关NoSQL开源产品，如：Redis, Cassandra等，有实际应用案例优先；
7、 熟悉软件开发流程和配置库的使用，拥有软件开发流程中的代码规范意识、配置管理规范意识、文档撰写规范意识。
岗位职责：
1、 负责搭建大数据各个系统的运行环境；
2、 维护日常job的正常运行；
3、 负责撰写相应的统计分析代码；
4、 负责和业务方对接实现个性化的大数据分析应用。
任职资格：
1、 大学本科以上学历，计算机相关专业；
2、 一年以上相关工作经验优先；
3、 熟悉Linux/Unix平台上的C/C++或Java编程；
4、 熟悉分布式系统概念、架构；
5、 熟悉操作系统、文件系统的原理和实现；
6、 熟悉Spark/Hadoop/Hive/Impala等开源技术。
岗位职责：
1．建设和维护卡中心的大数据服务平台, 固定报表平台, 数据仓库平台等基础数据平台。
2．负责各业务系统的数据入仓和数据质量管理.
3．开发和维护各类Hadoop批量、实时任务。
4．与用户沟通数据需求, 对项目质量跟踪控制.
岗位要求：
1．计算机相关专业全日制本科及以上学历，两年以上大型系统开发经验，有金融类工作经验优先。
2．扎实的Java语言功底，良好的编程习惯；
3．扎实的SQL语言功底，熟练使用Oracle或MySQL数据库，有数据库设计和优化经验者优先。
4．有报表开发经验者优先.
5．熟悉Hadoop、 Hive、Solr、 Storm、Hbase等大数据技术的优先.
任职要求：
1、熟悉 Linux 操作系统，有良好的编程能力，以及较强的动手和学习能力；
2、熟悉 Java, Python、Scala等其中一种编程语言；
3、有从事分布式数据存储与计算平台应用开发经验，熟悉 Spark, Storm, HBase, Cassandra 等相关技术；
4、熟悉软件开发过程，有良好的代码和文档编写习惯；
5、有良好的逻辑思维和表达能力，善于学习，独立思考能力强；
6、本科以上学历，3年以上工作经验，要求工作态度认真，有责任感，有良好的团队精神。
备注：具体薪资以面试为准，本岗位为委托招聘岗位，非光谷人才服务中心招聘岗位，请看清楚再投递简历，谢谢！
1.熟练掌握Java语言，熟悉Python语言，熟悉JVM原理以及内存的管理；
2.熟悉一种以上的数据库；
3.了解Hadoop或Spark大数据平台架构原理，了解HDFS和MapReduce，有Hadoop或Spark集群的搭建、维护、优化和使用经验优先;
4.熟悉linux环境和命令，能编写shell脚本；
5.了解Nosql等大数据技术，有过实际项目经验者优先。
6.良好的项目意识和沟通表达能力，工作积极主动，能承受一定的工作压力。
7.具备良好的责任心、较强的学习能力与合作能力。
岗位职责
1、参与大数据架构的搭建、开发和维护，负责Hadoop平台的MapReduce、Hive、Pig、kafka应用开发和维护
2、负责Spark计算框架的实时采集和流处理
3、负责大数据平台集群运维和监控
4、能通过开发工具/平台解决性能问题
5、协助管理Hadoop集群，参与新技术选型和调研，解决不断增长的海量数据带来的存储和计算挑战
任职条件
1. 计算机相关专业本科以上学历，有良好的数据结构与算法功底；
2. 有分布式系统的设计及使用经验；
3. 熟练使用 Linux 操作系统；
4. 了解 JVM 原理，有 JAVA、Scala 等基于 JVM 语言开发经验者优先；
5. 有DW/BI、ETL 经验者优先；
6 不局限于某种特定的分布式技术，认同工程师文化，热爱技术，能够快速学习
工作职责：
1 从事海量数据分析、挖掘相关工作；
2 利用机器学习算法优化内容排序；
3 参与个性化推荐算法的研发与优化；
职位要求：
1 计算机及相关专业本科或以上学历；
2 熟悉常用算法设计/数据结构；
3 熟悉linux/unix开发环境，熟练掌握java/python/shell开发；
4 熟悉海量数据处理技术，熟悉hadoop/spark及流式数据处理平台；
5 对机器学习基本原理有一定了解，有机器学习应用经验更佳；
6 有较强的分析和解决问题能力，有持续自我学习的能力和意愿, 善于沟通和逻辑表达，良好的团队合作意识；
对人选的要求：精通机器学习、推荐算法，了解Hadoop，熟悉Java语言
岗位职责：
1、负责大数据平台的开发、运行维护工作；
2、负责数据采集、清洗、整合、分析、可视化程序开发工作；
任职要求：
1、计算机相关专业，两年以上工作经验；
2、熟悉Hadoop/Spark/Storm生态环境体系；
3、熟悉Oralce/SQL数据库操作,2年以上JAVA实际开发经验；
4、具有数据有收集、整理能力；
5、具有良好的理解力和沟通能力，工作认真负责，热爱技术，勤奋向上。