工作职责：

1.负责设计和构建可扩展、高可用、高性能的大数据架构及系统，并负责部署运维。
2.设计数据模型和数据流，确保数据能够被规范地收集、存储和分析，并确保数据的完整性和一致性。
3.结合现有技术情况与业务方沟通、构建数据治理模型，其中涵盖数据映射、质检、标化、血缘、资产化等各项数据治理关键指标描述。
4.支持交付部署，对实施项目按需进行技术支持，解决大数据系统的技术问题，包括故障排查、调试代码、进行代码优化等。
5.结合公司及团队发展战略，跟踪学习前沿大数据技术，并在需要时应用这些技术。
6.完成领导交办的关于产品和项目的其他任务的职责。

任职资格：

1.本科及以上学历，5年以上大数据平台及数据仓库研发经验，精通大数据平台各组件实现原理和数据仓库基本理论，三年以上数据仓库开发、运维经验。
2.熟悉大数据处理方法，熟练使用hadoop、hive、hbase、spark、flink等数据处理技术及其底层原理，有丰富的开发调优及问题处理经验。
3.熟悉数仓分层建模、数据治理、ETL/ELT理论和实践，具备相关系统研发经验。
4.具有扎实的编程功底，熟悉常用的算法和数据结构，精通Java/Python/Scala/Shell语言，并具备丰富的实战经验。
5.具有丰富的SQL脚本开发经验，熟悉SQL性能调优，特别是在hadoop平台体系下性能调优工作。
6.有PB级别大数据处理实战经验，熟悉整个大数据的完整处理流程，包括数据的采集、清洗、预处理、存储、分析挖掘等。
7.熟悉Linux开发环境、基本命令、常用工具，能熟练编写Shell脚本程序。