项目一数据开发

职位描述：
1、基于集团数据底座开展数据采集工作，对接多样化业务数据源，涵盖：业务系统数据库（如MySQL、Oracle等关系型数据库）；外部数据接口（API调用、FTP文件传输、消息中间件Kafka/RabbitMQ流数据）；离线批量数据（CSV、Excel、Parquet等格式的静态文件）。
2、依托集团数据底座实施采集任务的运行监控与数据质量检查，依照数仓模型完成数据清洗处理，并将结果数据推送至前端应用数据库。
协同业务方及前后端开发人员进行数据验证测试、日常巡检等工作，针对实际问题推进脚本调优、存储结构调整、查询性能提升等优化措施。

岗位需求关键词：
mysql、oracle、hive、kafka、sqoop、flume、Spark、flink；责任心、沟通能力

项目二数据建模

职位描述：
1、拆解业务需求，梳理指标体系，规划数据仓库的分层架构与主题域划分
2、开展数据溯源分析，明确各类数据来源，包括业务库（MySQL/Oracle）、用户行为日志（App/网页端日志）、第三方接口（征信信息、地理位置数据）、时序类数据（IoT设备上报、交易流水记录）、邮件传输内容等，厘清数据口径与分析维度，基于集团数据底座设计接口模型与数仓模型
3、制定数据采集方案、设定任务执行周期、设计监控机制及数据质量校验规则
4、指导ETL开发落地实施，协助数据开发人员优化SQL脚本，联合开展数据一致性核对与测试验证
5、与前后端技术人员保持高效协作，保障各层级模型结构合理，满足查询响应效率，支持灵活调整与后端接口的交互逻辑
编写《数据模型设计文档》：完整记录模型设计思路（如分层目标、字段说明、计算逻辑）、数据源详情（如源表名称、同步频次）、业务定义标准（如指标口径解释）

岗位需求关键词：
Hadoop/Hive/Spark、Flink/Kafka/ClickHouse/Doris、数据建模、沟通理解能力、协调、管理、维度建模、数仓搭建