400 606 5709 体验 DEMO
案例 | 100+条链路承载亿级日流转:财信证券实时数据融合平台实践

2026年9月1日 • 作者:DataPipeline

图片

一、项目背景与目标

财信证券成立于2002年8月,是湖南财信金融控股集团有限公司旗下核心企业,也是湖南省唯一的省属国有控股证券公司。公司注册资本66.98亿元,截至2025年12月31日,合并口径总资产577.19亿元、净资产173.38亿元,在全国设有3家分公司、82个营业部,并下设4家子公司。

在多类业务系统并行运行、信创建设持续推进的背景下,财信证券需要解决的并非单一国产化软硬件替换,而是底层技术环境变化之后,业务数据能否继续稳定、及时地流向统一的数据平台。项目既要完成全栈信创适配,也要保证客户服务、风险管理等高时效场景不因技术迁移受到影响。

技术目标

1. 完成芯片、操作系统、数据库和中间件等全栈信创适配。
2. 建设统一的实时数据融合平台,实现异构数据稳定接入与秒级流转。

业务目标

1. 保障重点业务系统数据持续、准确地汇聚至大数据平台。
2. 缩短数据链路建设周期,降低研发与运维复杂度。

、DataPipeline平台优势

此次建设的难点在于,财信证券的数据环境并非单一技术体系,而是多种数据库、业务系统和基础组件长期并存。平台不仅要具备广泛的数据连接能力,还要在底层环境持续调整时保持任务稳定,避免为不同系统重复开发数据同步程序。

DataPipeline通过数据库抽象层,将采集、传输和分发逻辑与具体数据库解耦,使不同数据节点能够在同一平台内完成配置和管理。平台支持全量、增量及指定时间点同步,并将任务、链路、节点、资源和运行状态纳入统一管控。借助可视化配置、结构变化监测、自动重启、预警、日志和错误队列等机制,数据链路从依赖脚本和人工排查,转为可配置、可监控、可追踪的工程化运行体系。

此外,DataPipeline自身关键组件也能够适配国产技术环境,既承接现有系统迁移,也为后续接入新的数据库和业务应用保留扩展空间。

实施方案

财信证券与DataPipeline组建联合项目团队,围绕“业务系统接入—实时采集与传输—统一汇聚—集中运维”,重新梳理并建设数据流转链路。

业务系统层面,平台上游接入集中交易、网上开户、投资交易、资讯等系统,将分散在不同业务域的数据持续汇聚至下游大数据平台。数据库层面,平台已实现OceanBase、TDSQL、人大金仓V8、StarRocks、ClickHouse等多类环境数据对接,以统一方式完成异构节点接入和跨库数据流转。


图片

实时数据融合平台架构

数据处理层由采集、缓存和分发模块协同运行,支持全量同步、增量同步及指定时间点同步。增量数据可被持续捕获并快速传输,在保障低延迟的同时兼顾大规模数据处理需求。

管理层集中承载节点注册、链路配置、任务构建、策略设置和运行监控。研发人员可通过可视化界面完成任务配置,运维人员能够统一查看链路状态、结构变化、告警、日志及异常数据,形成从建设、运行到故障处置的完整闭环。平台自身的配置库、缓存和服务中间件也同步完成国产化适配,避免数据平台成为全栈信创中的薄弱环节。

实施成果

截至目前,实时数据融合平台已平稳运行一年,打通100余条数据链路,共有281个任务持续运行,覆盖300余张表的读写。实际链路延迟稳定在15秒以内,日均增量约35GB,日均数据量达到1亿条。持续运行数据表明,平台已经从项目上线阶段进入规模化、常态化使用阶段。

复杂环境下的链路稳定性得到验证

项目完成了芯片、操作系统、数据库和中间件等关键层面的全栈国产化适配,使数据能够在国产与既有技术环境之间稳定流转。

平台具备TB级吞吐量,增量处理保持秒级低延迟,可满足多系统并行运行和高时效数据处理需求。通过配置化的链路建设方式,研发交付时间由过去的按周推进缩短至分钟级,新任务无需重复编写和维护大量独立程序。

数据供给能够跟上业务运行节奏

集中交易、网上开户、投资交易、资讯等上游系统的数据,被持续送入大数据平台,为客户服务、风险管理及后续数据应用提供更加及时的数据输入。15秒以内的链路延迟,使业务数据不再停留在事后汇总阶段,而是能够更快参与分析、监测与运营判断。

统一的数据融合平台还减少了不同业务系统之间的重复链路建设。面对新的数据需求,研发和运维团队可以通过已有能力快速完成配置和交付,将更多精力投入业务响应和数据应用建设。

热门推荐
联系我们