高级数据工程师岗位职责描述

时间：2024-11-10 09:38:49 岗位职责我要投稿

相关推荐

高级数据工程师岗位职责描述

　　现如今，岗位职责的使用频率呈上升趋势，制定岗位职责有助于提高内部竞争活力，提高工作效率。制定岗位职责的注意事项有许多，你确定会写吗？以下是小编帮大家整理的高级数据工程师岗位职责描述，欢迎大家分享。

高级数据工程师岗位职责描述

高级数据工程师岗位职责描述1

　　1.数据采集系统和分布式爬虫系统的架构设计和开发

　　2.对接外部数据服务商提供的.数据及资讯服务，实现数据的有效沉淀，建立数据服务评估机制

　　3.负责大规模文本、图像、视频数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作

　　4.研究各种目标网站的形态，互联网特征挖掘，发现它们的特点和规律

高级数据工程师岗位职责描述2

　　1、负责生产环境Mysql数据库系统高可用、高性能架构方案，分库分表策略，数据库扩展方案;

　　2、排查数据库故障，分析和解决疑难问题，提出预防方案;

　　3、制定数据库监控策略、备份策略、容灾策略，探查系统潜在的问题和可能的性能瓶颈并进行优化;

　　4、对开发工程师的SQL语句进行审核及SQL优化;

　　5、负责redis、memcache等非关系数据库的.管理和扩展，能够根据业务需求完成系统设计、架构设计工作;

　　6、参与前瞻性新技术研究，解决数据库相关疑难问题。

高级数据工程师岗位职责描述3

　　岗位职责：

　　1、对通信和金融业务数据进行分析和挖掘，满足研发和运营等部门的`业务需求和决策需求;

　　2、能根据业务特点选择最合适的数据挖掘算法，并做调优;

　　3、支持数据分析、挖掘算法平台的部署和日常运营;

　　4、撰写分析类报告。

　　任职资格：

　　1、大学本科或本科以上统计学、数学或其他相关专业，对数据结构熟悉;

　　2、熟练使用python进行数据分析、处理、可视化。熟悉numpy/pandas/matplotlib等常用模块。熟练使用sql,最好用过hive-sql或spark-sql;

　　3、对hadoop/spark有一定了解。能够简单使用hadoop系列命令;

　　4、对线性回归，决策森林，xgboost，评分卡等数据挖掘相关算法有一定了解;

　　5、做过web接口调试，熟悉json者优先;

　　6、熟练掌握PPT和EXCEL制作;

　　7、具备良好的学习、沟通与表达能力，具有较强的团队合作精神，对工作富有热情，能承受工作压力;

　　8、有运营商或金融类相关数据经验工作优先考虑;

　　9、能适应中长期现场出差。

高级数据工程师岗位职责描述4

　　1、负责数据仓库的设计、开发、部署、维护和优化;

　　2、参与公司项目数据库架构设计,及相关文档的.撰写;

　　3、协助开发完成数据库表的设计以及SQL调优,给开发人员提供SQL调优指导;

　　4、负责数据库技术规范建设。

高级数据工程师岗位职责描述5

　　1.高质量地完成集团内外各类数据生产集成、数据分析应用建设工作，涉及投研、市场、ERP、全球金融资讯等四个业务领域方向;

　　2.需求及源系统数据分析，完成数据仓库/EDM等系统数据模型及应用模型设计、数据Mapping规则文档撰写、开发、自测及上线部署;

　　3. 数据质量稽核、问题分析及处理,优化数据处理程序;

　　4. 洞察数据、满足业务场景需求。

高级数据工程师岗位职责描述6

　　1、负责每日的数据仓库运维工作，保障数据的.稳定性、一致性等;

　　2、参与数据仓库的优化设计，如元数据、数据权限、调度优化;

　　3、负责数据质量和数据标准化的设计与开发;

　　4、负责满足业务部门的日常业务提数与报表需求的开发。

高级数据工程师岗位职责描述7

　　1、参与数据仓库建设，负责数据仓库模型设计；

　　2、开发高质量可扩展的'底层数据仓库体系；

　　3、负责数据仓库系统与业务系统的接口设计和确认工作；

　　4、负责数据平台相关的管理工作，如数据研发规范、数据质量及稳定性保证等建设；

　　5、参与公司各个业务线BI、数据产品与应用的数据研发，发觉数据潜在价值。

高级数据工程师岗位职责描述8

　　岗位职责:

　　1.负责衔接大数据平台与前端的数据传输；

　　2.根据客户需求设计大数据业务平台架构、配置组件；

　　3.负责后台服务的调试与测试，梳理接口文档、开发文档与测试文档。

　　任职资格:

　　1.硕士以上，或较为优秀的本科生；后端开发经验2年以上；

　　2.有基于b/s架构进行实际业务平台开发的.经验，有to b软件开发经验更佳；

　　3.通用软件开发基础、软件架构基础、scrum敏捷开发方法，有大数据基础更佳；

　　4.精通java或python语言，有rcp框架经验更佳；熟练掌握mybatis、springcloud / springboot、node.js等框架，精通sql技术；了解以太网通信协议，熟悉websocket技术。熟练使用git，svn等工具；

　　5.学习能力强，勇于挑战，代码质量意识强，笃信“工程即魔法”。

高级数据工程师岗位职责描述9

　　任职要求：

　　1、软件、计算机、通讯等理工科相关专业本科及以上学历；

　　2、具有3年配置管理或产品数据管理经验；

　　3、熟悉计算机与网络管理；

　　4、熟悉配置管理与产品数据管理知识，熟练掌握svn、plm等数据管理平台的操作与管理；

　　5、熟悉系统与信息安全知识；

　　6、具有较强的.逻辑思维能力及良好的沟通能力，良好的主动学习能力及执行力。

高级数据工程师岗位职责描述10

　　岗位职责:

　　1.从事数学建模及数据挖掘应用方法研究;

　　2.与开发部门配合实现相应的数据分析模块的'开发;

　　3.制定公司数据可管理体系,建产研究用数据平台。

　　任职要求:

　　1.应用数学、统计学、计算机等专业硕士以上学历;

　　2.具备常用机器学习、数据挖掘相关知识,会spark;

　　3.具备一种或多种开发语言(如scalapython java等)的程序和算法开发能力,掌握常用数据结构和算法;

　　4.有视频、地图、文本、社交等大数据分析能力;

　　5.有工业数据分析工作经验者优先。

高级数据工程师岗位职责描述11

　　1、负责公司与阿里巴巴在新行业方向(新金融、新零售、国内外运营商)的产品研发;

　　2、负责分析挖掘客户/行业对大数据产品的需求(应用场景)，利用数据分析结论提升客户业务能力。例如：文本挖掘，潜在客户挖掘，用户画像，个性化推荐，用能预测等;

　　3、进行大数据场景下的数据统计、数据挖掘、机器学习、深度学习，包括数据整理、模型建立、模型应用、评估优化等;

　　4、将客户需求准确转化为可执行的数学模型，针对不同的'应用场景，负责编写数据挖掘算法及对其的优化;

　　5、基于需求分析/运营支持/商业报告等成果，抽取典型用户/客户/行业/产品分析模型并与开发团队沟通实施方案及构建产品原型。

　　岗位要求：

　　1、本科以上学历，扎实的机器学习、数据挖掘、统计学理论基础;有统计、应用数学、金融等相关专业背景优先;

　　2、精通常见机器学习算法(如逻辑回归、SVM、神经网络、决策树、贝叶斯等)，有实际建模经验，掌握深度学习算法优先;

　　3、具有扎实的计算机操作系统、数据结构等编程基础，精通至少一门编程语言例如JAVA/python/R等;

　　4、熟悉Map-Reduce模型，对Hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验优先。

高级数据工程师岗位职责描述12

　　1.负责直播业务相关数据仓库的数据模型设计;

　　3.参与数据仓库ETL流程设计、开发和优化，解决ETL过程相关技术问题;

　　3.参与项目规划，数据采集设计，数据仓库开发，模型开发，报表开发等;

　　4. 总结数据仓库建模的方法，负责数据产品平台化和系统化;

高级数据工程师岗位职责描述13

　　1.从事GIS数据制作、分析、数据管理等工作;

　　2.编写工作总结和作业流程等文件;

　　3.通过已经完成的矢量化成果和表格数据库入库和检查工作;

　　4.利用软件对图形和属性进行检查，并进行错误修改;

　　5.其他数据制作处理工作。

高级数据工程师岗位职责描述14

　　识别，分析和解决计划支持问题。

　　与BU利益相关者合作，确定并优先考虑数据和统计要求，包括要收集的特定数据元素。

　　协助开发和实施数据库，数据收集系统/工具，数据分析以及其他优化统计效率和质量的策略(包括确定流程改进以更好地满足业务需求)。

　　分析大量数据集，提出有见地的业务建议。

　　通过查看报告和绩效指标来确定和纠正数据收集问题，从而确保数据的准确性和完整性。

　　识别，分析，解释和建模数据湖中数据的趋势或模式。

　　为各种受众设计和生成准确有效的统计数据可视化产品和报告。

　　通过促进技术和非技术利益相关者之间的沟通，确保技术团队了解计划和业务工作的`短期和长期目标

　　准时交付优质，易懂，明确的产品。

　　参与构建机器学习策略平台。

　　对数据驱动业务，关键思想家，问题解决者和自我启动者的热情

　　促进技术和非技术利益相关者之间交流的能力

　　出色的书面和口头交流能力。

高级数据工程师岗位职责描述15

　　在行业担任数据工程师或后端工程师超过4年

　　您将了解数据仓库的概念(建模，调整，维护)

　　您非常精通SQL，并渴望指导和教其他SQL

　　您精通Python或任何其他脚本语言和软件开发

　　您在分布式数据处理/传统RDBMS / MPP / NoSQL系统和数据建模方面有很强的低估/经验

　　您在Spark / Kafka / HBase / Redis / Kettle方面拥有丰富的'经验

　　您受到探索数据的好奇心和动力的驱动

　　您具有处理数据管道的DevOps问题的经验

　　对数据驱动业务，关键思想家，问题解决者和自我启动者的热情

　　获得认可大学的相关学科的学士学位

高级数据工程师岗位职责描述16

　　相关文件的定义和编写

　　2.生产良率和抛料率的'监控和改善

　　3.生产异常的分析解决

　　4.技术人员的班别安排

　　5.设备保养的安排和作业follow

　　6.设备故障维修&coordinator

　　7.配合新产品导入或者其他需求的试产验证

　　8.主管交付的其他事项

高级数据工程师岗位职责描述17

　　工作职责：

　　1、运用数据挖掘和机器学习方法和技术，深入挖掘和分析海量商业数据

　　2、包括但不限于风控模型、用户画像、商家画像建模、文本分析和商业预测等

　　3、运用数据挖掘/统计学习的理论和方法，深入挖掘和分析用户行为，建设用户画像

　　4、从系统应用的角度，利用数据挖掘/统计学习的`理论和方法解决实际问题

　　任职要求

　　—计算机、数学，统计学或人工智能等相关专业硕士以上学历，5—10年以上或相关工作经历

　　—精通1—2种编程语言（Python或Java），熟练掌握常用数据结构和算法，具备比较强的实战开发能力，能带领团队共同进步。

　　—具有统计或数据挖掘背景，并对机器学习算法和理论有较深入的研究

　　—熟悉数据挖掘相关算法（决策树、SVM、聚类、逻辑回归、贝叶斯）

　　—具有良好的学习能力、时间和流程意识、沟通能力

　　—熟悉Spark或hadoop生态分布式计算框架

　　—优秀的沟通能力，有创新精神，乐于接受挑战，能承受工作压力

　　—有互联网，央企，政务，金融等领域大规模数据挖掘经验者优先

高级数据工程师岗位职责描述18

　　职责描述：

　　1、负责poi数据的属性分析、处理和关系挖掘，构建地图领域的`知识图谱。

　　2、负责nlp、数据挖掘、深度学习等方向的前沿算法研发，并结合地图场景优化。

　　任职要求：

　　1、计算机、数学或相关专业，三年以上工作经验。

　　2、熟悉数据结构和算法设计，熟练使用c++、python。

　　3、熟悉nlp、机器学习、数据挖掘领域的常用算法与工具，对前沿技术保持热情。

　　4、良好的分析和解决问题能力，能独立承担研发工作。

　　5、有地图数据优化工作背景优先。

　　团队介绍

　　主要支持北京岗位

　　对地图（无人驾驶）、广告（广点通）、快报感兴趣的欢迎勾搭

高级数据工程师岗位职责描述19

　　岗位职责：

　　1.参与金融大数据平台系统和算法的研发和优化;

　　2.基于大数据金融场景，进行信用风险模型，风控模型，营销模型的创新设计;

　　3.与业务部门沟通合作，将数据模型应用于实际业务。

　　任职要求：

　　1.计算机相关专业硕士及以上学历，至少7年以上相关工作经验;;

　　2.具有良好的商业敏感度和优秀的数据分析技能，能够开发创新而实际的分析方法以解决复杂的商业问题。

　　3.熟悉机器学习的一般模型;例如分类.聚类.预测，理解一些常用的特征选择和矩阵分解算法。

　　4.熟悉深度神经网络和常用模型(如CNN，DBN，sparseconding,RNN等)，有Caffe或Theano或ConvNet的'实践经验。

　　5.在语义理解检索(如知识图谱表示.结构化预测.语义解析.信息检索.知识挖掘等)有过深入的工作与研究。

　　6.较强的自学能力.优秀的逻辑思维能力和良好的沟通表达能力和敬业精神。

　　7.具备良好的系统分析能力，良好的抽象思维和逻辑思维能力，独立分析问题解决问题的能力;

　　8.可承受较大压力，有责任感，较强的沟通协调能力，具有团队合作精神;

　　9.有互联网公司.大型金融企业和大型IT企业工作经历的优先。

高级数据工程师岗位职责描述20

　　1.依据项目需求建构数据萃取与转换流程

　　2.挖掘数据特征，进行数据和特征融合

　　3.搭建数学模型，并对模型进行检验评估

　　职位要求：

　　1、计算机、数学、统计、人工智能等相关专业的硕士或以上学历;

　　2、二年以上数据挖掘、机器学习相关工作经验，熟悉python、spark、pandas、sklearn等数据分析工具者优先;

　　3、熟练掌握贝叶斯、随机森林、深度学习等机器学习算法;

　　4、突出的分析问题和解决问题能力，自我驱动，并且具备较强的'学习能力、创新应用能力及沟通协调能力，有良好的团队合作意识;

　　5、有国际背景或能熟练使用英文沟通者优先

高级数据工程师岗位职责描述21

　　1、利用数据仓库建模及相关技术，参与数据仓库模型的设计。

　　2、参与企业级大数据仓库项目的落地开发。

　　3、参与企业级主数据管理项目的.实施落地。

　　4、利用hadoop生态相关技术，负责大数据中心的数据处理流程，包括数据清洗、融合、统计、挖掘等。

高级数据工程师岗位职责描述22

　　1.负责海量数据的分析开发工作;

　　2.完成数据挖掘模型，跟踪模型的实施和效果，定期优化算法和分析策略，分析研究后提供建设性建议 ;

　　3.优化大数据存储、计算等各方面性能，确保能从海量大数据信息里，有效进行数据分析和挖掘;

　　4.根据用户的活动记录进行特征筛选和关联挖掘。提高关联准确性;

　　5.参与相关数据标准和规范的制定。

　　要求：

　　1.熟悉java/scala/python/R中至少一种编程语言，具有良好的编码习惯;

　　2.计算机、数学相关专业本科以上学历;

　　3.2年以上数据挖掘及其相关经验，对常用的数据挖掘算法有较深入了解，有实际算法调优经验 ;

　　4.熟悉常用数据挖掘算法(聚类/分类/回归/关联规则/图模型)等算法原理，具备实际的`建模经验，熟悉常用机器学习算法原理，如朴素贝叶斯/决策树/随机森林/逻辑回归/SVM等，并具备相关应用经验;

　　5.熟悉hadoop生态，具有spark/flink等实际开发经验;

　　6.极强的数据敏感度，能从海量数据中挖掘出数据核心价值，相关;

　　7.熟悉分布式存储，熟悉mysql/oracle、hbase、redis、mogongdb、elasticsearch等，熟悉neo4j/JanusGraph等图数据库优先 ;

　　8.富有创新精神，充满激情，乐于接受挑战，良好的沟通技巧和团队合作，抗压性强，能适应加班。

高级数据工程师岗位职责描述23

　　1、负责大数据平台搭建及数据仓库建模；

　　2、负责数据库管理及数据优化；

　　3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作；

　　4、维护大数据平台并能解决相关问题，保障平台正常运行；

　　5、学习和研究新技术以满足系统需求。

高级数据工程师岗位职责描述24

　　1、针对具体的业务场景需求、定义数据分析及挖掘问题;

　　2、使用统计学分析方法、挖掘算法、构建有效且通用的数据分析模型，对数据挖掘方案进行验证、开发、改进和优化，实现数据挖掘的.功能应用;

　　3、搭建高扩展高性能的数据分析模型库，作为数据分析团队的基础工具;

　　4、完成领导安排的其他工作。

高级数据工程师岗位职责描述25

　　1、针对海量用户行为数据进行挖掘和建模，深入挖掘数据的.业务价值。研究机器学习或统计学习领域的前沿技术，并能活学活用到项目中。

　　2、基于对汽车广告投放业务及用户的理解，参与精准营销、个性化推荐等模型建设和领域研究，提升转化率等业务指标。

　　3、根据业务需要采集相关数据，对原始数据进行ETL和归类整理，并实现流程自动化。

　　4、其他大数据处理及项目开发工作等。

高级数据工程师岗位职责描述26

　　1、负责数据仓库（HADOOP）ETL工作以及数据运营；

　　2、负责数据产品的`业务需求梳理、数据开发以及维护；

　　3、负责数据仓库的维度建模以及设计相关的脚本调度；

　　4、负责维度模型的数据处理的脚本开发，程序开发以及接口对接。

高级数据工程师岗位职责描述27

　　1.负责数据分析,数据挖掘相关的算法、应用的`设计与开发;

　　2.负责公司产品各阶段数据的整理、分析、挖掘及提交数据报告，重点对车辆行为数据进行分析和挖掘，利用数据分析结论推动业务产品的优化;

　　3.对海量业务数据进行整合、分析挖掘，挖掘产品以及用户潜在信息，为营销、运营及决策提供业务分析及数据支持。

高级数据工程师岗位职责描述28

　　1.针对用户行为预测业务，负责用户画像、订单特征体系建设，包括离线数据产出以及服务化;

　　2.针对用户端上行为产出的实时数据流，挖掘实时特征并服务化;

　　3.针对客服场景，挖掘实时用户行为异常以及进线异常;

　　4.针对智能客服场景用户标签挖掘，人群挖掘等工作，支持智能运营方向的业务;

　　5.负责开发并维护智能客服业务的`特征服务系统。

【高级数据工程师岗位职责描述】相关文章：