开发工程师
岗位职责
1、云端架构与开发?:主导基于阿里云/AWS/GCP等云平台的大数据架构设计与开发,优化云端资源调度与成本管理,支撑高并发数据处理需求?;
2、?ETL流程开发?:负责海量数据ETL流程设计、开发与优化,包括数据清洗、转换、集成及加载,保障数据质量与处理效率?;
3、?Spark应用开发?:基于Spark框架开发分布式计算任务,实现数据批处理、流处理及机器学习模型部署,提升数据平台性能?;
4、?数据仓库与湖仓一体?:构建云端数据仓库(如Hive、BigQuery)及湖仓一体架构,支持多源异构数据的统一存储与分析?;
5、安全与协作?:配合SecDevOps团队实现代码安全管理,优化CI/CD流程(Git/Jenkins),确保系统部署的自动化与安全性?。 岗位要求 1、云端经验(阿里云/AWS、GCP为加分项)
2、5年以上ETL、Hadoop、Linux平台、SQL编程、Python经验 或者5年以上ETL、Hadoop、Spark、Linux平台、SQL编程、Python经验
3、熟悉SecDevOps和安全源代码管理工具/工具,如Git、Jenkins及CICD部署(第三优先级)
4、良好的英语沟通能力。
2、?ETL流程开发?:负责海量数据ETL流程设计、开发与优化,包括数据清洗、转换、集成及加载,保障数据质量与处理效率?;
3、?Spark应用开发?:基于Spark框架开发分布式计算任务,实现数据批处理、流处理及机器学习模型部署,提升数据平台性能?;
4、?数据仓库与湖仓一体?:构建云端数据仓库(如Hive、BigQuery)及湖仓一体架构,支持多源异构数据的统一存储与分析?;
5、安全与协作?:配合SecDevOps团队实现代码安全管理,优化CI/CD流程(Git/Jenkins),确保系统部署的自动化与安全性?。 岗位要求 1、云端经验(阿里云/AWS、GCP为加分项)
2、5年以上ETL、Hadoop、Linux平台、SQL编程、Python经验 或者5年以上ETL、Hadoop、Spark、Linux平台、SQL编程、Python经验
3、熟悉SecDevOps和安全源代码管理工具/工具,如Git、Jenkins及CICD部署(第三优先级)
4、良好的英语沟通能力。