2023年大数据运维工程师岗位职责 大数据运维工程师需要的技能(15篇)

每个人都曾试图在平淡的学习、工作和生活中写一篇文章。写作是培养人的观察、联想、想象、思维和记忆的重要手段。范文怎么写才能发挥它最大的作用呢？这里我整理了一些优秀的范文，希望对大家有所帮助，下面我们就来了解一下吧。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇一

1、负责大数据平台hawq数据库运维;

2、负责大数据平台tbase数据库运维;

3、负责传统数据(oracle、mysql等数据库)数据迁移、数据同步;

4、负责日常数据库的监控及问题分析排查;

5、负责ogg、kafafa等组件数据传输同步日常运维;

6、负责数据库的优化、sql语句的优化调优;

7、负责数据同步的检验与异常处理，确保数据的一致性、完整性、及时性;

8、负责制定数据同步方案及实施。

任职要求：

1、大专或以上学历，计算机或统计类相关专业

2、有3年以上技术类或数据类的开发经验;

3、熟练linux 系统操作及linux 运维监控、软件安装配置;

4、熟悉大数据技术，如hadoop、spark、storm、zookeeper等;

5、熟悉主流数据库mysql/sql serverl/oracle/postgresql等，精通sql语句，对复杂sql能进行优化，能熟练编写存储过程;

6、熟练linux shell，可以进行运维shell开发;

7、学习能力强，责任心强，具有优秀的沟通表达、理解能力与团队合作能力;

8、有centos 7、red hat 7等linux操作系统，有shell脚本编写经验的优先。

9、有3年以上的基于mpp(greenplum ,hawq,vertica,gbase等mpp db)数据仓库的实际运维经验或3年以上 hive、spark 实际项目运维经验

10、在实际项目中，有异构数据库迁移经验，从传统oracle,mysql迁移至mpp数据仓库的实战经验.

大数据运维工程师岗位职责开发经验;

3、熟练linux 系统操作及linux 运维监控、软件安装配置;

4、熟悉大数据技术，如hadoop、spark、storm、zookeeper等;

5、熟悉主流数据库mysql/sql serverl/oracle/postgresql等，精通sql语句，对复杂sql能进行优化，能熟练编写存储过程;

6、熟练linux shell，可以进行运维shell开发;

7、学习能力强，责任心强，具有优秀的沟通表达、理解能力与团队合作能力;

8、有centos 7、red hat 7等linux操作系统，有shell脚本编写经验的优先。

9、有3年以上的基于mpp(greenplum ,hawq,vertica,gbase等mpp db)数据仓库的实际运维经验或3年以上 hive、spark 实际项目运维经验

10、在实际项目中，有异构数据库迁移经验，从传统oracle,mysql迁移至mpp数据仓库的实战经验.

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇二

职责:

1. 负责公司核心集群的运维工作, 任务调度、监控预警，持续完善大数据平台，保证稳定性、安全性;

2. 负责集群容量规划、扩容及集群性能优化;

3. 基于大数据应用需求，持续优化hadoop框架及组件的配置，提升性能;

任职资格：

1.大专以上计算机，通信和网络相关专业;

2.3年以上中等规模集群环境下的hadoop/impala/hive/spark集群相关运维经验;

3.对各种hdfs/yarn/hive/impala/spark/hbase等相关参数调优, 性能优化等有实际经验;

4.有实际踩坑经历, 对于相关组件的版本跟进, 补丁跟踪, bug追踪等有相关经验;

5.实际处理过各种集群在线版本升级, 数据迁移, 集群扩容, 稳定性监控等工作;

6.熟悉kerberos安全认证系统，实施过集群权限管理, 资源隔离方面的方案规划或二次开发工作;

7.能维护hadoop源码，有hadoop 源代码bug修复或者源代码优化经验者优先;

8.有cloudera的cm使用经验尤佳。

大数据运维工程师岗位职责 大数据运维工程师需要的技能篇三

职责：

- 负责局点大数据平台的部署、管理、优化、监控报警，保障平台服务7*24稳定可靠高效运行;

- 深入理解公司大数据平台架构，发现并解决性能瓶颈，支撑业务和数据量的快速增长;

- 开发大数据自动化运维、监控报警、故障处理相关脚本和工具;

- 负责hadoop/spark/kafka等集群服务、业务监控、持续交付、应急响应、容量规划等。

要求：

- 4年以上运维相关工作经验，有大数据平台运维相关工作经验优先;

- 具备一定的故障排查能力，有良好的技术敏感度和风险识别能力，精通一门以上脚本语言(shell/python等)，熟悉http/https、tcp/ip、smtp等协议;

- 熟悉linux(redhat/centos)软硬件环境、系统管理和优化，熟练部署、优化各种常用服务。熟练使用linux 命令和常用的ssh、ftp、git、maven等开发工具;

- 熟悉hadoop大数据生态圈，包括但不限于cdh/hdfs/yarn/hive/hbase/kafka/zookeeper/spark/flink/impala/elasticsearch/kibana/mysql/kubernetes等;

- 熟悉hadoop各组件的原理和实现，有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力，运维管理过大规模数据平台;

- 熟悉掌握常用的安全协议和