hadoop工程师专题汇总
hadoop工程师专题汇总
岗位职责：
1、直接对公司技术总监负责；
2、针对业务需求进行总体数据仓库架构设计和优化，负责技术选型，提供整体方案，带领程序员直接落地实施；
3、与平台前端设计进行有效协同和对接；
4、解决平台开发过程中的技术问题；
5、负责其他相关事宜
备注：工作地点在济南
任职要求：
1、 大学计算机本科或以上，具有很强的学习和创新开拓能力；
2、 在数据仓库、大数据平台或大型电商平台后台系统架构设计或相关领域有7年或以上工作经验，熟悉海量数据高并发例如618和双11等应用场景，动手能力强 ；
3、 精通或熟悉Redis、MongoDB、Hadoop、HBase、Spark、Storm等NoSQL、分布式框架或实时计算技术；
4、 精通Oracle或MySQL等关系型数据库，精通Linux系统；
5、 熟悉J2EE、IO、多线程、集合等基础框架，熟悉分布式、缓存、消息、搜索等机制；
6、 熟练使用JBoss，Tomcat、Apache，Nginx等应用和服务器配置；
7、 有较强的责任心，性格开朗，具有一定的团队领导和沟通能力，能上能下，能下能上，能够根据业务和客户需要务实解决问题；
8、 有淘宝/阿里、京东、亚马逊、12306等大型平台架构经验的优先。
工作职责：
1.参与Hadoop相关项目开发，公司的标签画像产品开发。
2.用Map/Reduce实现业务部门的数据需求
3.熟悉etl开发过程
任职要求：
1、1年以上Hadoop或HBase的Java开发经验
2、熟悉Hadoop、HBase、Hive、Spark等组件，Map/Reduce编程
3、熟悉Lucene，ElastiSearch开发者优先
4、有shell、python开发经验优先
5、有数据仓库或互联网行业项目经验优先
岗位职责：
1、负责Hadoop、Storm、Spark等的搭建、开发、调优、监控等工作；
2、进行大数据领域的技术难点攻关；
任职要求：
1、全日制本科或以上学历，计算机相关专业优先；
2、熟悉MySQL、SQL Server、Oracle等主流数据库
一种或者多种，熟悉基本SQL操作；
3、熟悉Linux/Unix环境，掌握Linux常规
Shell命令操作;
4、至少掌握一种程序开发语言。如Java、C#；
5、了解Hadoop、HBase、Spark、Storm的工作原理；
6、对新技术探索怀有深厚的兴趣，原因解决技术难题；
7、有大数据项目经验者优先
岗位职责：
1、参与云存储/计算架构的搭建、开发和维护工作。
2、参与基于云存储/计算项目的开发、维护工作。
职位要求：
1、有hadoop分布式平台工作经验，熟悉hbase、pig、hdfs，map/reduce等；
2、熟悉Linux/Unix操作系统，熟练掌握java，python开发语言；
3、了解Hadoop原理，有海量数据处理经验；
4、具备较强学习能力，良好的沟通能力和团队合作意识；
工作职责：
1.参与Hadoop相关项目开发，公司的标签画像产品开发。
2.用Map/Reduce实现业务部门的数据需求
3.熟悉etl开发过程
任职要求：
1、2年以上Hadoop或HBase的Java开发经验
2、熟悉Hadoop、HBase、Hive、Spark等组件，Map/Reduce编程
3、熟悉Lucene，ElastiSearch开发者优先
4、有shell、python开发经验优先
5、有数据仓库或互联网行业项目经验优先
岗位职责：
1. 负责Hadoop大数据及相关技术研究、分析、技术拓展；
2. 负责银行Hadoop大数据分析、挖掘项目开发；
3. 负责Hadoop大数据及其项目的技术指导和架构的设计。
任职要求：
1. 本科毕业，计算机相关专业；
2. 对服务器集群有一定的认识，并有较为丰富的集群开发经验
3. 熟悉Hadoop 2.0以上版本体系结构、各个模块的功能，对Hadoop生态圈有较全面了解，同时具有源码级开发经验
4. 熟悉HDFS/HBase/Hive/MapReduce/Mahout/Spark等相关技术，并对HBase、Map/Reduce、Spark、Mahout有深入了解
5. 对Hadoop集群的可视化管理有一定的了解；
6. 熟悉Hadoop运行监控及调优技术；
7. 熟悉linux环境和命令，能编写简单的shell脚本
8. 1年以上Hadoop大型平台项目开发经验，具有银行项目经验中优先
岗位要求：
学历要求：不限 性别要求：不限
语言要求：普通话 专业要求：不限
岗位职责：
1、负责Hadoop集群相关的开发、调优、监控等工作；
2、负责Hbase、Spark项目开发、实施工作；
3、负责数据平台的基础架构设计和优化工作。
职位要求：
1、深刻理解Hadoop、Hive、Hbase、Spark等开源软件的工作原理；
2、熟练掌握Java开发，有开源软件源码阅读和fix经验者优先；
3、技术Geek,对技术有很高的热情；
4、有大规模Hadoop集群运维经验者优先；
5、具有快速解决问题的能力和较强的学习能力；
6、熟悉linux系统；
7、附上github地址或blog地址有加分。
此数据摘自相关公司实际发布的招聘要求岗位职责：
Hadoop平台数据收集分析，数据管理，并输出负责模块的文档；
按要求准确及时输出数据报表；
Hadoop平台优化。
任职资格：
本科以上（含本科）；
计算机相关专业；
掌握java常用开发框架，掌握mysql数据库。掌握Hadoop平台开发数据分析需求，数量使用Hive及Hbase数据库；
工作作风严谨，良好的沟通能力和协调能力，优秀的学习能力；
能够承受工作压力，富有进取心。
岗位职责:
1.负责Hadoop集群的搭建、管理、开发以及调优工作；
2.负责对接产品需求，并制定相应解决方案；
3.参与新技术选型以及调研工作，解决不断增长的海量数据。
任职要求:
1.本科及以上学历，计算机相关专业；
2.熟悉Java，熟悉linux操作能写复杂的shell脚本；
3.2年以上大数据相关项目经验，有分布式系统开发经验；
4.熟悉MapReduce思想，熟悉Hadoop、Hive、HBase、Elasticsearch、Spark等分布式开源项目；
5.熟悉CDH搭建、维护优先；
6.有一定的算法基础，有较强的学习能力，有独立分析和技术研究能力；
7.优秀的团队合作精神，对工作有热情，能够承受住压力。
工作内容:
1、 OLAP和报表开发；
2、 ETL流程设计、开发；
3、 hive,hbase的开发。
任职资格:
教育背景:
◆通信、电子工程、自动化、计算机及其相关专业，专科科以上学历。
经 验:
◆1年以上数据仓库开发工作经验。
技能技巧:
◆参与过数据仓库的ETL开发，对数据仓库的设计有一定认识；
◆熟悉linux/UNIX shell、熟练python或java编程；
◆熟悉分布式数据处理, 具有haoop、hive、hbase等数据库开发经验；
◆精通SQL语句；
态 度:
◆好学上进，耐心细致，有责任心；
◆工作勤奋，善于思考问题；
◆有时间观念，独立性强，具有团队合作精神。
工作内容： |
1、 参与系统的需求调研和需求分析，撰写相关技术文档
2、 搭建系统开发环境，完成系统框架和核心代码的实现；
3、 项目概要设计、详细设计、开发计划等的编制并实施；
4、 系统开发测试、部署和集成；
5、 负责解决开发过程中的技术问题；
6、 参与代码维护与备份；任职资格： 1、本科以上，计算机相关专业； 2、30岁以下，1-2年Hadoop开发经验，熟悉Pig、hive、NoSQL、网络爬虫等 3、 具有2年以上电商行业开发经验。 4、 有很强的质量意识和时间意识； |
岗位职责：
1. 基于Hadoop大数据开发平台,根据清洗，存储海量数据 ；
2. 从大数据中挖掘用户本质属性，并分析用户行为和个性化需求以及指导业务发展；
任职要求：
1. 熟练掌握基于hadoop的大数据开发，理解hdfs、mapreduce的实现原理；
2. 能够独立搭建hadoop平台，对海量数据进行分析，熟练运用hive并能进行查询的性能优化；
3. 对Hadoop任务以及调度进行优化，熟练使用hbase；
4. 熟练使用Python语言经验优先。