【集团】大数据运维
上海全职
职位描述
1.参与自研类DataWorks平台的架构设计和研发落地，确保平台的高可用和扩展性等。2.负责核心功能模块的开发和维护，包括统一数据集成（实时、离线）、数据研发（实时、离线）、统一作业调度（调度引擎、调度编排）、数据分析（adhoc、batch、混合引擎）、数据地图（元数据采集、全链路血缘）、数据治理（数据质量评测体系，质量指标、监控告警）等。
职位要求
1.本科及以上学历，计算机科学、软件工程或相关专业。2.互联网5年以上大数据平台开发经验（熟悉DataWorks平台或类似数据平台，了解数据开发用户视角，如IDE体验、调试效率）。3.熟练掌握Java、Python、SQL等编程语言。4.熟练掌握SpringCloud分布式微服务技术栈，包括：SpringBoot、Redis、MQ/Kafka、MySQL/PostgreSQL等。 5.熟练掌握Hadoop大数据技术栈特性和应用，包括：HDFS/MR/Yarn、Hive、HBase、Spark、Flink、Presto/ClickHouse/Doris等。6.熟悉Ad-Hoc（即席）、Batch（批）、Stream（流）、数据湖等大数据开发框架，了解技术原理和应用场景，具备开发实践经验。 7.熟悉DolphinScheduler/Airflow等大数据调度框架，了解技术原理和应用场景，具备开发实践经验。 加分项： -有dify \豆包等大模型应用、结合垂直领域赋能业务。-有Jupyter、Python数据分析工具集成（如Pandas、NumPy、Scikit-learn）/机器学习/数据治理体系/数据分析知识、实际项目经验者优先。
投递
Sign in
To continue your applicationor continue with email
By continuing you agree to our Terms & Privacy Policy.