一、项目背景与目标

实时报表需要持续获得业务系统中的数据变化。对郑州银行而言，实时数据平台建设既要解决数据采集与同步，也要兼顾不同数据库环境下的兼容性，以及链路上线后的日常管理。为满足行内业务部门对实时报表的需求，郑州银行引入DataPipeline企业级实时数据融合平台，建设统一的实时数据采集与管理能力。

1.技术目标

通过数据库日志实时解析获取增量数据，支持跨异构或跨版本的数据同步，并提供统一的图形化管理界面。方案需要把实时采集、任务管理和运行监控结合起来，让数据能够持续送达，也让IT人员能够集中查看和管理同步过程。

2.业务目标

为行内业务部门的实时报表建设提供更加及时的数据输入，同时为后期信创化建设预留扩展空间，使实时数据采集能力能够随着业务需求与数据库环境的变化逐步扩展。

二、为什么选择DataPipeline

本次项目需要将Oracle业务数据对接数仓侧Kafka，同时完成同步任务的统一管理。DataPipeline承接源端日志解析、增量采集与跨异构数据同步，将数据流转和运行管理组织在同一平台内，与项目的建设目标相匹配。

除了数据接入，平台还提供用户、角色管理及权限分离能力，并支持按任务分组，以及针对数据丢失、任务状态异常等情况设置告警。这些能力覆盖了任务由谁管理、权限如何划分、异常怎样发现等日常工作，使实时采集工具能够兼顾链路建设与持续运维。

三、实施方案

在已接入范围内，上游为采用Oracle数据库的灵犀移动营销平台和灵犀捷营销平台，下游对接数仓侧Kafka，形成两条从业务系统通向数据仓库的实时数据链路。这一路径把营销平台中的数据变化送入数仓侧，为实时报表提供更及时的数据输入。

平台设计包括数据采集引擎、数据缓存与数据分发引擎，以及任务、链路、节点和资源等管理模块。运行监控覆盖运行信息、结构变化、预警和日志等环节。采集与管理能力在同一平台内组织，为链路持续运行提供支撑。

实时数据同步平台架构图

现阶段建设以两套业务系统为起点，先完成明确范围内的数据接入与同步，再根据业务需要逐步扩展。后续，郑州银行计划按需扩展达梦V8、MySQL、腾讯TDSQL、华为DWS、海量Vastbase等数据库及数据仓库的接入。

四、实施成果

截止目前，平台已打通2条链路、配置2个同步任务，支持2个业务系统的数据采集，承载每日百万行级增量数据同步，现有同步链路延迟为1- 5秒。

1.百万行级增量同步与统一运维落地

围绕日常运行管理，郑州银行通过DataPipeline建设了包括用户、角色管理及权限分离在内的实时采集管理体系，将任务配置与运行管理纳入统一界面。平台支持按任务分组组织告警，并针对数据丢失、任务状态异常等提供提示。同时，运维人员可以围绕具体任务检查同步状态，并开展后续排查。

这些能力让数据链路的运行情况更易于掌握，也为采集任务的统一管理提供了明确的操作入口。项目价值由数据的及时送达延伸到同步过程的可管理性，为后续增加任务与数据源提供了可沿用的管理方式。

2.为实时报表提供更加及时的数据支撑

对业务部门而言，两套营销平台的数据能够以更及时的方式进入数仓侧，为实时报表建设提供输入。

从两条明确的数据链路起步，本次项目将实时数据入仓与统一管理结合起来，为现阶段实时报表建设提供数据基础，并为行内多技术环境下的数据流转留下扩展空间。