高级数据工程师的职责

时间:2024-07-09 12:02:50 好文 我要投稿

高级数据工程师的职责

高级数据工程师的职责1

  职责:

  1、负责ETL开发、作业调度和数据平台建设

  2、负责数据仓库的设计、开发和优化,建立结构层次合理、灵活可扩展的`数据仓库

  3、设计并研发BI分析相关的数据产品

  4、结合对数据的理解和业务需求,对数据进行整理、分析和挖掘

  任职要求

  1、计算机相关专业本科及以上学历,有2年以上数据仓库、ETL工作经验

  2、有海量数据处理、ETL及作业调度优化、数据仓库建模等经验

  3、熟悉Linux、SQL、Python或Java、Shell脚本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大数据技术使用经验

  4、逻辑清晰,对数据敏感,深入了解业务,具备自己独特的想法并能提出合理的建议

高级数据工程师的职责2

  职责:

  1、维护数据库稳定运行,持续发现和解决潜在的问题;

  2、负责数据库的性能优化,使用新技术和新架构满足日益增长的业务需求;

  3、负责数据库的.监控系统设计,为开发团队提供平台支持;

  4、负责数据库的运维方面的相关工作,包括数据库的安装部署、压力测试、备份恢复、知识库管理等

  5、负责数据库进行容量规划、架构设计,提高业务高可用性和容灾能力;

  6、负责数据库相关工作的整体规划,提供决策建议。

  任职要求:

  1、计算机相关专业本科及以上,具有3年以上DB2数据库DBA经验;

  2、精通DB2数据库体系结构和工作原理,有高可用架构规划设计经验优先;

  3、熟悉MySQL数据库体系结构和工作原理,有高可用架构规划设计经验优先;

  4、熟悉TSM的运维管理,并熟悉基于TSM的数据备份和恢复;

  5、熟悉V5000、V7000等存储的运维管理;

  6、熟悉数据库的性能优化、SQL调优技术,对高并发数据库的锁和事务隔离问题有深入理解;

  7、熟悉数据库容量规划和分表设计方法,有海量数据库设计和支持经验优先;

  8、熟悉常用的数据库备份方法;

  9、精通脚本语言,并至少能用Shell,Perl,Python等中的一种进行快速开发。

高级数据工程师的职责3

  1、负责处理产线工程、工艺问题;

  2、跟进新产品开发模具及新物料进度,以确保样品及时交付;

  3、负责产品转量产工艺制定,参与解决生产过程中的技术及工艺问题。

  4、负责产品开发的'模具设计,材料选择、工艺制定;

高级数据工程师的职责4

  岗位职责:

  1、参与公司数据开发平台、bi产品等大数据产品的设计和开发;

  2、负责数据开发平台、bi产品等大数据产品的部署和维护,保证其稳定和可靠;

  3、关注和参与大数据方向开源产品的技术动态与演进,推动产品与技术架构持续更新;

  任职要求:

  1、计算机相关专业,本科及以上学历,5年以上软件开发经验,3年以上互联网产品或分布式系统开发设计经验;

  2、精通java,python,scala等一种或几种编程语言,并熟悉linux操作系统及bash shell编程;

  3、有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用经验,并熟悉上述常用的分布式系统架构设计和原理;

  4、熟悉微服务框架及相关技术,如dubbo,springcloud等;

  5、熟悉mysql、redis,并了解或接触过其他数据库如oracle,sqlserver,postgresql,mongodb等;

  6、了解容器技术,如docker,kubernetes;

  7、具有一定的`软件设计能力,热爱大数据和技术,相信技术改变世界,学习能力强,认同数据价值,有面向业务的思维,较强的自主学习能力和英文技术文档阅读能力;

  8、良好的沟通能力、团队精神及服务意识,勇于接受挑战,能承受较大的工作压力;

  9、有生产环境快速trouble—shooting的经验和能力者优先;

  10、有olap,多维度数据分析经验优先,有对数据仓库有较强的理论基础和理解者优先;

高级数据工程师的职责5

  1.高质量地完成集团内外各类数据生产集成、数据分析应用建设工作,涉及投研、市场、ERP、全球金融资讯等四个业务领域方向;

  2.需求及源系统数据分析,完成数据仓库/EDM等系统数据模型及应用模型设计、数据Mapping规则文档撰写、开发、自测及上线部署;

  3.数据质量稽核、问题分析及处理,优化数据处理程序;

  4.洞察数据、满足业务场景需求。

高级数据工程师的职责6

  1、负责每日的数据仓库运维工作,保障数据的稳定性、一致性等;

  2、参与数据仓库的优化设计,如元数据、数据权限、调度优化;

  3、负责数据质量和数据标准化的.设计与开发;

  4、负责满足业务部门的日常业务提数与报表需求的开发。

高级数据工程师的职责7

  在行业担任数据工程师或后端工程师超过4年

  您将了解数据仓库的概念(建模,调整,维护)

  您非常精通SQL,并渴望指导和教其他SQL

  您精通Python或任何其他脚本语言和软件开发

  您在分布式数据处理/传统RDBMS / MPP / NoSQL系统和数据建模方面有很强的低估/经验

  您在Spark / Kafka / HBase / Redis / Kettle方面拥有丰富的经验

  您受到探索数据的好奇心和动力的驱动

  您具有处理数据管道的`DevOps问题的经验

  对数据驱动业务,关键思想家,问题解决者和自我启动者的热情

  获得认可大学的相关学科的学士学位

高级数据工程师的职责8

  职责:

  负责数据仓库逻辑模型和物理模型设计,对上游数据进行清洗、清理、加工、转换、加载至目标数据库。

  负责数据ETL开发、数据平台建设,解决各种数据库问题。例如:调优、异常处理等。

  对接相关业务团队进行数据梳理,清洗并协助分析完成业务数据化管理的目标。

  对业务团队进行数据能力输出,并且负责与业务平台进行数据对接。

  岗位要求:

  计算机、软件相关专业,本科及以上学历.

  3年以上主流数据上(DB2、Oracle、SQLServer、Mysql等)ETL设计、开发经验,具备大型数据仓库逻辑模型和物理模型设计经验,精通SQL,有较好的.SQL性能调优经验。

  熟悉Unix/Linux常规命令与工具,至少熟练使用Shell、Python、Perl等脚本语言之一。

  有分布式数据仓库建设相关经验者优先,具备金融行业数据仓库建设相关经验者优先。

高级数据工程师的职责9

  识别,分析和解决计划支持问题。

  与BU利益相关者合作,确定并优先考虑数据和统计要求,包括要收集的特定数据元素。

  协助开发和实施数据库,数据收集系统/工具,数据分析以及其他优化统计效率和质量的策略(包括确定流程改进以更好地满足业务需求)。

  分析大量数据集,提出有见地的业务建议。

  通过查看报告和绩效指标来确定和纠正数据收集问题,从而确保数据的准确性和完整性。

  识别,分析,解释和建模数据湖中数据的趋势或模式。

  为各种受众设计和生成准确有效的统计数据可视化产品和报告。

  通过促进技术和非技术利益相关者之间的沟通,确保技术团队了解计划和业务工作的短期和长期目标

  准时交付优质,易懂,明确的产品。

  学习网参与构建机器学习策略平台。

  对数据驱动业务,关键思想家,问题解决者和自我启动者的`热情

  促进技术和非技术利益相关者之间交流的能力

  出色的书面和口头交流能力。

高级数据工程师的职责10

  职责:

  1、编写服务器端总体设计文档,实现关键框架代码

  2、负责服务器端架构设计与通讯协议拟定、模块划分、团队合作和人员分工

  3、服务器端核心模块与逻辑代码实现

  4、服务器端负载优化,网络安全方案设计

  5、分析策划案的技术可行性,根据策划文档,独立设计开发相应的'游戏模块

  6、对游戏设定功能进行服务器端系统设计、编码、测试以及开发文档编写

  7、使用c++开发维护服务器底层,开发游戏逻辑,开发周边支持工具等

  8、审核其他程序员的代码,帮助程序员提高编码能力,具有在需求明确情况下合理估算开发时间并严格按照文档要求完成开发功能的能力

  岗位要求:

  1、5年以上网络游戏服务器开发经验

  2、精通C++/C任一种以上程序设计,能编写高质量代码,具备良好的开发文档书写习惯

  3、熟悉Linux系统机制、操作和开发,如:多线程、多进程、同步、IPC、网络编程(Socket)等

  4、熟悉大容量数据库程序开发,熟悉mysql/mongodb/oracle/redis任一种以上的数据库

  5、热爱游戏开发

高级数据工程师的职责11

  职责:

  1、负责数据库的技术开发工作,包括数据库相关方案,编写数据库相关手册;

  2、参与数据库开发及数据库优化方面的工作;

  3、负责数据库系统的危机事件处理和应急处理;

  4、定期完成量化的工作,能独立处理和解决所负责的`任务。

  任职要求:

  1、5年以上数据库相关工作经验,计算机相关专业,本科以上学历;

  2、熟悉Orancle数据库系统,精通SQLserver或MYSql数据库,有数据库编程经验;

  3、精通基于Linux及Windows平台数据库的配置优化和安全运维;

  4、为人诚信,工作主动,能承受较大的工作压力,良好的沟通能力和团队合作精神。

高级数据工程师的职责12

  职责:

  1.搭建业务数据模型:深入理解业务流程,搭建大数据分析平台,对业务进行分析、挖掘、建模,参与模型的维护、部署、评估工作,并形成相应的模型标准化报告;建立相关用户行为模型,用户分层模型;

  2.分析用户数据:通过深度挖掘用户的个人数据,行为数据,研究公司相关业务数据,整理和发掘数据价值,实现精准投放,生成数据产品并推动落地;

  3.分析客户的'基本属性及行为数据,进行精细化客户分群、客户画像,撰写深入的客户分析报告,建立与产品、客群、业务环节相适应的细分模型;

  4.熟悉电信业务优先。

  任职要求:

  1.本科及以上学历,统计学、数学、计算机及相关专业,3年及以上工作经历,有大数据平台、电信行业背景优先;

  2.至少掌握一种数据分析语言(Java/R/Python/Matlab)进行数据分析工作,

  3.熟悉各种数据分析算法,具有相应的数理统计、熟悉建模和数据分析相关知识,熟悉SVM数学推导,能独立实现SVM算法。

  4.能够适应高强度、快节奏的工作氛围,快速熟悉行业特性及业务知识。

  5.熟练使用包括但不限于下列技术Hadoop、Storm、Spark、Hive、Oracle、MySQL、或者Teradata等

  6.良好的逻辑思维能力,能够从海量数据中发现有价值的规律。

  7.具有良好的沟通能力和团队合作精神。

高级数据工程师的职责13

  职责:

  1、负责应用平台维护,保证其有效运行;

  2、负责业务数据的挖掘、整合以及分析模型的建立、优化和评估;为业务人员日常工作提供可靠而明确的数据支撑;

  3、负责报表相关功能的设计、开发工作,并负责报表优化、维护、数据采集;

  4、负责系统相关文档的制定和编写。

  5、有实际的`MY SQL或Oracle等数据库开发相关工作经历,具有高级工程师技术能力;

  6、有良好的沟通协调能力,能与客户及项目组同事有效的沟通;

  7、能够独立分析客户需求,并能针对客户需求编写需求分析、设计等技术方案;

  8、热爱软件事业,具有较强的责任感,有快速掌握新技术和独立解决技术问题的能力;

  技能要求

  1.计算机相关专业,大专及以上学历,1年以上ORACLE数据库开发经验;

  2.精通PLSQL编程,能够熟练编写ORACLE存储过程、触发器等;

  3.思路清晰,逻辑明确,有较强分析与解决问题能力;

  4.良好的沟通交流能力,对工作热情、认真、负责,心态积极而平稳,能与团队成员进行良好的合作;

  5.电信行业工作经验及经营分析系统/数据挖掘、或业务支撑系统(crm、boss)项目建设经验者优先。

高级数据工程师的职责14

  职责:

  1.负责数据库技术开发工作,包括数据库相关方案,编写数据库相关手册;

  2.参与数据库开发及数据库性能优化工作;

  3.负责数据库系统危机事件处理及应急处置;

  4.定期完成量化的工作,能独立处理和解决所负责的任务;

  任职要求:

  1.5年以上数据库相关工作经验,计算机相关专业,本科以上学历;

  2.熟悉Orancle数据库系统,精通SQLserver或MYSql数据库,有数据库编程经验;

  3.精通基于Linux和Windows平台数据库的配置优化和安全运维;

  4.为人诚信,工作主动,能承受较大的.工作压力,具有良好的沟通能力和团队合作精神。

高级数据工程师的职责15

  职责:

  1、负责产品数据库研发,参与系统整体架构设计;

  2、根据产品目标负责相关业务的数据分析、建模、设计评审,跟进产品过程中数据库设计;

  3、负责产品模块的数据层分析、设计、编码、测试;

  4、能够独立完成产品数据层开发任务,负责各类数据接口开发;

  5、负责各类型数据操作处理和兼容问题;数据库复杂SQL开发和调优。

  任职要求:

  1、计算机相关专业本科及以上学历;

  2、5年以上JAVA开发经验,有Spring Boot框架开发经验,计算机硕士以上学历可酌情考虑;

  3、系统掌握数据库原理和知识,精通SQL语法规则和特点,有3年以上SQL编写经验。熟悉主流数据库技术,良好的数据库基础知识,具备良好的SQL编写与优化能力,熟练掌握Oracle、SQLServer、MySQL、PostgreSQL等数据库语言,能熟练应用分析函数、存储过程;

  4、熟练掌握数据库脚本的性能调优方法,有大量数据处理或开发经验者优先;

  5、熟悉数据库建模,熟练运用建模工具进行产品的分析和设计;

  6、有较强的`交流能力,能很好的理解项目需求;

  7、具备良好的自学能力和独立解决问题的能力;

  8、沟通能力良好,具备团队合作精神,能适应一定压力开展工作。

【高级数据工程师的职责】相关文章:

高级数据工程师的职责集锦(15篇)07-09

高级软件测试工程师的职责06-09

高级硬件测试工程师的职责06-10

数据库工程师的基本职责03-10

高级测试工程师的基本职责07-07

Java高级开发工程师的基本职责03-15

中高级测试工程师的职责03-18

数据库工程师的基本职责(优选)03-11

中高级测试工程师的职责(必备)03-18