面临挑战
数据安全
核心交易系统部署在核心区，而下游风控、反洗钱、经营分析等系统部署在非核心区，核心区与非核心区之间存在网络隔离，需要通过跳板机。
难以灵活应对数据源变化
数据源发生变化时，需要修改任务的配置和脚本，灵活性差。且核心交易系统在夜间完成数据清算后，需工程师手动同步数据，费时费力。
缺少监控预警
需要依赖下游用数环节判断数据是否存在异常，缺少过程监控和预警。
解决方案
实施跳板机
适配安全隔离网络架构，自动完成跨网的数据采集、中转、处理。
智能分区
识别清算数据表的日期变化，自动触发数据同步任务。
灵活取数
针对无主键数据，可灵活设置过滤规则，同步指定的增量数据。
客户价值
解决数据跨网传输难题
通过跳板机的方式，让跳板机承担数据中转服务，整体采集的控制端存放在非内网环境，确保出现问题可以在外部环境中进行直接管理和问题排查。
提高数据采集效率
采取批量化的采集方式，同时对同个系统的几十几百个表一并采集，使用老版工具，几百张表的抽取配置需要花费 50 个小时，现在基本可以在 5 分钟内完成，大大提高了数据采集效率。
监控预警，保障下游用数不受影响
之前，使用传统工具的财通证券最高能消费掉系统生产备库 50% 的性能，单库每秒的流量条数接近 10 万，易触发上游系统的预警。DataPipeline 定义了采集条数和采集流量的双重阈值，保证了企业应用的安全性。