数据处理架构师

数据处理架构师

上海工程类硕士及以上

职位描述

1.主导 PB 级训练数据处理平台的架构设计与实现​2.设计高效的数据清洗、过滤、去重 pipeline​3.优化数据处理效率，降低端到端处理延迟​4.建立数据质量保障体系，确保训练数据质量​5.制定数据处理技术规范，指导团队执行​

职位要求

​•5+ 年大数据处理经验​•精通 Spark、Flink、Kafka 等大数据技术栈​•熟悉分布式存储（HDFS、Iceberg、S3）​•有 100TB+ 数据处理经验​•理解机器学习训练数据需求​•具备流式处理与批处理混合架构设计能力​加分项：​•大模型预训练数据处理经验​•数据质量检测框架开发经验​•Iceberg/Hudi 数据湖经验

职位信息

投递