大数据工程师专题汇总
大数据工程师专题汇总
【岗位职责】
1、搭建基于Hardoop/Spark/Shark的大数据平台；
2、负责数据架构设计及前端数据应用开发工作；
3、负责大数据的处理和分析工作；
4、负责大数据平台展现层的研发工作。
任职要求：
1、男女不限，20-35周岁，本科及以上学历，计算机等相关专业；
2、熟练JAVA开发，接触过JAVA开发大数据前端接口和界面；
3、熟练掌握MapReduce原理、对Hadoop、Hbase、Hive等主流云计算、大数据相关软件有充分的了解；
4、熟悉Spark、SparkSQL、SparkStreaming等框架；
5、具备高度的责任心，良好的沟通能力，逻辑思维能力强，技术钻研及团队合作精神。
此数据摘自相关公司实际发布的招聘要求大数据工程师
岗位职责：
1、负责大数据系统研发工作，包括大规模非结构化数据业务模型构建、大数据存储；
2、负责数据库架构设计以及数据库详细设计、优化数据库构架、解决数据库中心建设设计问题；
3、负责数据仓库的架构设计、模型设计及系统部署，数据集市的规划、设计等；
4、开发ETL过程，优化存储方案，设计并实现分布式计算任务，搭建数据处理流程；
5. 针对海量的用户行为数据进行统计、分析与挖掘，提取商业价值；
6、建立数学模型对用户行为进行分析和预测。
任职要求：
1、3年以上java开发经验，对JVM原理有深入了解；
2、2年以上hadoop开发经验，对Mapreduce、Hdfs的原理有深入的了解；
3、熟悉大型关系型数据库，精通数据结构和常用的算法；
4、熟悉ETL开发实施流程和原理，有实际的大型数据仓库或企业数据集成的ETL开发和ETL流程优化经验；
5、熟练掌握Hadoop,MapReduce应用开发，熟悉HBase、Hive、Pig、MapReduce、 Mahout 、kafka、Storm等大数据开发工具，有分布式数据处理经验；
6、熟练掌握数据仓库建模/数据挖掘/机器学习技术，从事过搜索、自然语义分析等相关的开发工作，有项目应用经验；
7、熟悉大数据云计算服务优先；
8、具备丰富的大中型开发项目的总体规划、方案设计经验者优先考虑。
岗位职责：
1、编写hadoop和spark程序分析海量数据,提取热点或趋势信息
2、实现或使用常用机器学习算法解决大数据实际问题
3、分析互联网用户日志和广告rtb系统日志解决用户需求
4 采集互联网数据实现用户兴趣精准定向功能
技能要求：
1、精通Hadoop和spark编程,以及相关优化技术
2、熟悉Java,python或者go语言这优先
3、熟悉常见的机器学习算法
岗位职责：
1.参与整个公司大数据系统与应用的设计、开发、维护；
2.针对具体的业务问题，规划、设计基于数据挖掘的解决方案；
3.基于海量数据建立用户行为分析的模型。
任职要求：
1.计算机、数学、统计专业，1年及以上hadoop工作经验；
2.熟悉java体系架构，精通主流的开源框架，具备扎实的数据结构与算法功底；
3.熟悉SqlServer/MongoDB/Redis/HDFS等常用数据库，有数据库设计、性能调优经验，熟悉数据库灾备解决方案，具有相关应用开发经验及数据库规划能力
4.熟悉Spark或Hadoop生态圈技术，有丰富的RDD/MapReduce开发经验；
5.熟练使用Linux系统，至少熟悉perl/shell/python中的一种脚本语言；
6.熟悉MySQL、Oracle或NoSQL数据库技术；
7.有互联网分布式大数据挖掘、分析、数据仓库开发实施经验者优先；
8.工作认真负责，有较强的钻研学习能力和分析解决实际问题的能力。
此数据摘自相关公司实际发布的招聘要求岗位职责：
1.金融、数学、统计、计算机类优秀本科、硕士毕业生，
2.对银行证券保险行业感兴趣，
3.对算法模型，大数据技术感兴趣，熟悉数据库，应用服务器，和相关开发语言。有良好的数据库设计能力和sql编写能力。有hadoop、flume、storm、spark、zookeeper等相关开源项目，或者从事过分布式相关系统的设计、开发工作者尤佳；
4.对智能营销、征信授信、风控评级等应用感兴趣
5.对数据有一定敏感度，有大数据分析方面相关经验者尤佳；
6.良好的沟通技能，团队合作能力，曾做过分布式系统开发的优先考虑。
任职责任:
1 负责大数据系统的设计和开发工作
设计研发银行类应用产品：营销、征信、风控、反洗钱等，如个性化推荐系统、精准营销、用户画像等数据产品的设计和开发工作
2 配合需求人员，完成功能模块，
3.支撑日常业务数据需求，负责系统优化，问题跟进并及时解决。
岗位职责：
1、负责构建Spark/HDFS大数据处理架构；
2、负责基于Spark技术的海量数据的自动化分析处理和统计工作；
3、基于Spark框架大数据架构的设计、开发和维护；
4、根据相关需求使用SparkStreaming/Storm、SparkSQL进行数据处理、查询和统计等工作；
5、实现大数据的深层次挖掘和准确业务推荐/营销。
任职要求：
1、学历要求：全日制统招本科以上
2、性别要求：不限
3、语言要求：普通话，能熟练阅读英文材料，能参加英文培训
4、专业要求：不限，计算机科学或数学相关专业优先
5、年龄要求：不限
6、工作年限：3年以上，硕士以上学历可降至一年
岗位职责：
1、负责分布式日志处理系统的搭建和维护
2、负责大数据处理平台的搭建和维护
3、为产品和业务提供数据支持
要求
1、熟悉flume, kafka, spark, storm， hadoop中的一个或多个
2、能够搭建和维护大数据处理平台，熟悉性能调优
3、熟悉Java或C++或Python等程序设计语言
4.有大规模用户数据或互联网内容数据处理经验者优先
薪资待遇：全年14薪，一年至少一次调薪机会，股权激励重点对象，集团战略性平台开发机会，和谐轻松的工作氛围，开放式的办公环境。
此数据摘自相关公司实际发布的招聘要求1.计算机、统计、数学、信息技术等相关学科本科及以上学历；
2.扎实的计算机软件设计开发技能、海量信息的分析与挖掘、机器学习等理论基础；
3.熟悉数据采集、统计分析、数据仓库、数据挖掘、数据可视化、推荐系统等相关领域知识与算法；
4.具有大规模、海量分布式计算系统如Hadoop、ElasticSearch、Spark、数据仓库等研发经验；
5.熟悉NoSQL非结构化和非关系型数据库。
6.熟练运用以下一种或几种计算机语言：Java、Scala、Python、R等。
7.有优秀的沟通能力以及团队合作能力。
8.有推荐系统实施经验者优先。
岗位职责
1、 负责整体核心技术，系统框架设计与实现；
2、 进行大数据领域的技术难点攻关；
3、 大数据挖掘、开发的研究
4、 研究大数据新技术；
5、 按时完成领导交给的其他任务
职位要求：
1、教育背景：大学本科以上学历，计算机、电子、数学等相关专业；
2、熟练掌握Python和c/c++语言，有较强的数据结构和算法能力；
3、有数据挖掘的背景和学习经历，对分类、聚类、关联挖掘和推荐有深刻的认识或经验者优先；
4、熟悉R/SAS/SPSS/Matlab/EViews/Stata等至少一种数理统计、数据挖掘工具软件；
5、熟悉Hadoop/Hive/HBase并有丰富的Map/Reduce程序开发经验者优先；
6、大型互联网公司推荐系统、搜索引擎、广告系统、智慧交通系统、物流配送系统经验的优先考虑开发经验，有文本分析、自然语言处理、推荐系统或者大数据分析工作经验者优先；
7、运营过hadoop、spark等相关系统，有从事过海量数据分布式处理、各种分布式计算，或者分布式存储、分布式计算系统相关的工作经验
8、学习能力强，拥有优秀的逻辑思维能力，工作认真负责，沟通能力良好；
9、一年以上工作经验；
10、良好的学习能力；抗压能力强。
数据科学家（系统平台类）
职位描述
1. 大规模机器学习平台的设计和实现；
2. 大规模机器学习算法库的设计和实现；
3. 大规模数据实验平台的设计和实现。
职位要求
1. 计算机，数学相关专业背景；
2. 有大规模机器学习算法研究和实现方面的工作或者实习经验；
3. 具有很强的开发能力，精通C/C++或Java/Scala；
4. 精通计算机体系结构，操作系统，熟悉Linux；
5. 有Spark, Hadoop, MPI等大数据平台经验优先；
6. 有异构计算（如GPU加速）方面的经验优先；
岗位职责：根据要求完成大数据应用和功能的开发。
任职要求：
1. 了解Oracle等关系型数据库整体架构
2. 精通PL/SQL开发，包括SQL语句，存储过程，触发器，函数等
3. 了解Hadoop/Spark等技术；
4. 要求工作激情，诚信，责任心及团队协作意识；
5. 熟悉Java语言，有银行项目经验者优先。
岗位职责：
1.负责大数据产品线的架构设计和开发。
2.理解系统的业务需求，制定系统的整体技术框架、业务框架和系统架构。
3.负责给产品开发、实施、运维团队提供技术保障。
4.负责对系统的重用、扩展、安全、性能、伸缩性、简洁等做系统级的把握。
5.对系统框架相关技术和业务进行培训，指导开发人员开发，解决系统开发、运行中出现的各种问题。
任职要求：
1.对各种架构模型有深入理解，了解模型的优缺点。
2.熟悉Java、Scala或C++中的至少一门语言，有优良的Trouble Shooting能力。
3.对技术由衷热爱，对新技术、新方向有敏感的前瞻性。
4.有扎实的表达能力，对业务模型、技术模型进行分析、评估。
5.对大数据技术有钻研热情，乐于分享。
6.在开源社群活跃并有积极贡献者优先 。
7.有百度、阿里、腾讯、Google等互联网公司同类数据产品架构经验者优先。
岗位职责：
Hadoop集群以及Hive、HBase、Pig等相关软件配置、优化、维护、管理；
Hadoop MapReduce程序及Pig、Hive脚本开发；
Hadoop数据分析模块与其它系统/模块之间的衔接，为BI提供基础数据分析；
任职要求：
2、熟悉Hadoop集群的搭建，管理及调优；
3、熟悉Hadoop和Hive，有MapReduce分布式编程经验；
4、熟悉Linux/Unix操作系统，熟悉脚本编程（Shell/Perl/Python 其中一种）；
6、至少熟练使用主流关系数据库一种，熟悉SQL优化；
7、熟悉ETL开发流程和开发工具；
8、具有以下条件者优先：数据仓库项目经验者、海量数据分析项目经验、数据挖掘项目经验
9、具有优秀的学习能力、独立分析问题和解决问题能力；
10、具有极强的责任心及工作积极性。
此数据摘自相关公司实际发布的招聘要求
岗位职责：
1、负责大数据平台的搭建与升级维护、相关后台服务的设计与开发；
2、配合数据挖掘工作进行相关程序开发。
3、利用大数据平台实现对数据的分析和处理；
4、负责大数据平台的性能参数调整和优化；
5、负责相关项目的技术支持和服务。
任职资格：
1、统招本科以上学历，数学、统计学、计算机信息类等专业背景，2年（实际开发工作经验）以上hadoop大型平台项目开发经验；
2、对服务器集群有较深的认识，并有较为丰富的集群开发经验；
3、有高并发服务器项目的开发经验；
4、精通hadoop各个模块的功能；
5、对Hbase、Hive、Zookeeper，Spark有深入了解；
6、熟悉linux环境和命令，能编写简单的shell脚本；
7、熟悉数据分析和数据挖掘等技术，有BI使用经验者优先；
8、熟悉Mysql，Oracle，Mongodb数据库，有集群数据库的开发使用经验者优先；
9、热衷于产品研发和技术发展、具有强烈的责任意识和开放的心态。
专业要求：
1.有过实际项目分析的经验,对数据仓库,数据清洗,数据集市,以及数据挖掘等有过实际项目经验1-2个 ；
2.熟悉掌握最少水晶仪表盘或spss工具能够进行数据分析；
3.数据掌握数据分析算法,结构数据与非结构数据应用及关联关系；
4.至少熟悉一种sql(or或者nsql)产品；
岗位需求条件：
1.负责公司大数据平台整体架构规划设计；进行技术方案材料撰写； 2.负责公司各行业应用大数据解决方案整合，建立围绕在统一大数据平台基础上，针对不同行业应用的大数据解决方案；
3.负责面向不同行业应用大数据领域的分析系统构建，包括数据组织与存储、数据调度分析、数据挖掘模型等；
4.负责对公司大数据团队的技术咨询和辅导等。
职位描述：
1.负责数据平台的开发、维护工作；
2.负责日志的采集、清洗、整合等工作；
3.负责大数据平台数据分析、用户行为分析等工作；
任职资格：
岗位要求：
1.本科及以上学历，计算机相关专业；
2.有1－3年大数据或数据仓库项目经验，了解数据仓库相关理论知识；
3.熟悉SQL开发，精通Mysql、Oracle等关系型数据库中的一种；
4.拥有memcache、redis、ehcache等cache开发经验，理解其原理和工作模式；
5.学习能力强，喜欢研究新技术，有团队观念，具备独立解决问题的能力；
6.熟悉HBase、Hive、Pig、Storm者优先；
职位描述
1、负责和参与公司大数据基础架构平台的运维，保障数据平台服务的稳定性和可用性；
2、负责和参与超大规模数据存储与计算任务的精细化管理系统的设计，选型和开发；
3、负责和参与大数据基础架构平台的监控、资源管理、数据流管理；
4、负责和参与自动化运维系统及平台的建设；
5、负责和参与基于数据分析的可预测的云平台弹性扩展解决方案。
职位要求：
1、从事数据仓库领域至少2年以上，具备海量数据加工处理（ETL）相关经验；
2、掌握Linux操作系统的配置，管理及优化，能够独立排查及解决操作系统层的各类问题；
3、掌握Hadoop, Kafka, Zookeeper, Hbase, Spark, Storm的安装与调试；
4、至少精通Python, Perl, Ruby, Bash脚本语言中的一种；
5、有良好的系统性能优化及故障排除能力；
6、熟悉大数据周边相关的数据库系统，关系型数据库和NoSQL。
此数据摘自相关公司实际发布的招聘要求岗位职责：
1.负责公司大数据平台产品的技术工作，包括需求分析、架构设计、研发、以及性能分析工作；
2.负责设计、构建和优化基于自有BBASE的存储平台架构；
3.负责整体提升自有BBASE集群的高可用性、高性能、高扩展特性；
4.根据业务需求，提出最优的技术解决方案；
任职资格：
1.3年以上软件开发经验，精通Java开发
2.对基于hadoop的大数据处理体系有深入认识，具备相关产品（hadoop/storm /hive/hbase）项目应用研发经验，熟悉分布式系统、分布式计算系统的工作机制，能熟练掌握相关核心技术的工作机理；具有大规模数据平台，高并发大型系统，大数据等架构设计和开发经验；
3.熟悉全文检索技术，如ElasticSearch、lucene等使用;
4.具备数据管理和存储相关项目和系统的开发经验，具有丰富的数据分析、挖掘和数据仓库建模的项目实践经验；
5.具有数据采集系统项目经验者或大数据产品经验者优先！
岗位职责：
1.负责大数据平台搭建及数据仓库建模。
2.利用分布式计算集群实现对数据的分析、挖掘、处理、生成报表等。
3.维护分布式计算集群并能解决相关问题, 保障系统正常运行。
任职要求：
1.熟悉主流分布式处理框架，如spark,hadoop。 基于Hadoop的数据挖掘、大数据组件开发。
2.具备大型数据仓库架构设计、模型设计和性能调优等相关经验。
3.有搜索及推荐系统实现经验者优先。
4.有BI产品、数据可视化产品开发经验者优先。
5.精通JAVA、C/C++开发。
6.全日制本科或以上学历，计算机专业毕业，三年以上相关工作经验， 有互联网公司大规模数据研发者更佳。