2024年5月8日 • 作者:DataPipeline
数据洪流,洞察先机。近日,DataPipeline助力一家顶级证券公司成功上线了企业级实时数据融合平台,标志着该公司在金融技术领域的又一重大进展。
该证券公司隶属于具有悠久历史的大型商业集团,经过数十年的发展,已成为中国证券市场的领军企业。作为一家拥有全牌照的顶级券商,公司通过其遍布全国的数百家营业部,以及海外多个子公司,提供多层次的客户服务,展现出稳健的盈利能力和全面的服务能力。此外,公司还通过控股和参股多家公司,构建了涵盖资产管理、期货、投资等多方面的国际综合证券服务平台,体现了市场化管理、国际化运营和创新精神的企业风格。
在推动数字化转型的进程中,该公司始终位于行业前沿。面对的关键挑战在于如何高效整合外部资讯供应商的数据,并将这些标准化数据快速、稳定地分发至各下游业务系统。然而,当前使用的数据同步工具无法满足日益增长的企业级数据融合需求。具体而言,现有同步工具在面对上游数据的大量增量时容易出现阻塞和任务失败,且不支持断点续传和DDL(数据定义语言)同步,这严重影响了数据同步的效率和可靠性。此外,工具的稳定性也未能达到企业级的要求,增加了运营风险。
为应对这些挑战,该券商需要一款能够支持企业级要求的实时数据融合产品。在短期,公司计划构建一个新的企业级数据同步平台,以替代现有同步工具,从而提高数据同步的稳定性并降低管理风险。而从中长期看,该公司希望建立一个资讯数据自助订阅管理机制,以进一步提升数据管理的效率和灵活性。这些措施将支持其在金融服务领域持续保持领先地位,同时实现其长期的数字化和创新愿景。
DataPipeline助力顶级券商,实时数据融合平台顺利上线
DataPipeline企业级实时数据融合平台适配了客户包括Oracle,MySQL、OceanBase、达梦在内的多种数据库管理技术,可实现高效的数据捕获、转换和加载操作,在数据处理速度和系统稳定性方面较之前有很大提升。
实时数据融合平台架构
▶ 全面的数据节点支持
支持关系型数据库、NoSQL数据库、国产数据库、数据仓库、大数据平台、云存储、API等多种数据节点类型,可自定义数据节点。
▶ 高性能实时处理
针对不同数据节点类型提供TB级吞吐量、秒级低延迟的增量数据处理能力,加速企业各类场景的数据流转。
▶ 极稳定高可靠
采用分布式架构,所有组件均支持高可用,提供丰富容错策略,应对上下游的结构变化、数据错误、网络故障等突发情况,可以保证系统业务连续性要求。
▶ 全链路数据可观测
配备容器、应用、线程、业务四级监控体系,全景驾驶舱守护任务稳定运行。自动化运维体系,灵活扩缩容,合理管理和分配系统资源。
DataPipeline企业级实时数据融合平台,通过高效的数据同步能力,提升了该公司整合和分发外部资讯数据的效率,同时增强了系统的稳定性,降低了因数据同步问题导致的管理风险。此外,平台的高容错性、断点续传功能以及对DDL同步的支持,满足了企业级数据融合的严格要求,促进了该公司的数字化转型进程,进一步加强其在金融科技领域的竞争优势。
此次合作不仅提升了该公司的数据处理能力和系统稳定性,而且为公司的持续创新和市场领导地位提供了坚实的技术支持。展望未来,双方将继续深化合作,持续助力该公司进一步优化数据驱动决策过程,推动金融科技领域的发展,同时为客户提供更高效、更安全的服务。
构建灵活高效实时数据计算平台,加速数据价值释放
此次大会中提出的「以数提效、顺势而为」的理念,与DataPipeline的核心价值观不谋而合,而且「以数提效」是DataPipeline创立以来一直在帮助企业实现的目标,也是公司的使命。
携手合作伙伴,共同推动DataOps的创新与发展,开启数据管理的新篇章