DataPipeline——致力于「成为中国的世界级数据中间件厂商」

img DataPipeline2021-09-15

公司简介

北京数见科技有限公司作为一家专注于企业服务的数据领域独立软件提供商,针对数据中间件产品与实时数据解决方案市场,为业务发展水平与信息化管理水平较高的行业客户提供产品服务。公司总部和研发中心位于北京市,在上海、南京、深圳设有研发分部和技术支持中心。数见科技秉持「连接一切数据、应用和设备」的使命,致力于「成为中国的世界级数据中间件厂商」,做对行业和社会可持续发展最具价值的企业。公司的核心团队成员来自谷歌、Yelp、亚马逊、IBM、甲骨文、中科院等国内外知名企业,拥有长期从事企业级软件研发的经验,其中专业技术人员占比约60%,拥有强大的面向企业用户提供专业产品和服务的技术力量。

数见科技基于自身在实时数据管理领域的深厚积累,打通“实时数据融合-服务-质量”全流程能力,构建起业内最完善的实时数据管理产品矩阵,形成了全链路实时数据资产管理业务体系。公司主要经营的产品包括:实时数据融合产品、实时数据服务产品、实时数据质量管理产品。其中,公司拳头产品“DataPipeline企业级实时数据融合平台”通过多种实时数据技术协助用户构建以业务目标为导向的数据链路,产品支持广泛的数据节点类型,按需敏捷定制、部署、执行数据任务,可实现从实时同步到批量数据处理的各类场景,保证数据流转稳定高效,让客户专注数据价值释放。

近年来,数见科技发展迅速,在产品研发、客户拓展和融资方面都获得了快速发展。截至2021年5月,公司已获得来自金沙江创投、经纬中国、百度风投、峰瑞资本、清流资本共计四轮的投资,金额过亿人民币。数见科技坚持自主研发,实时数据融合产品在对于安全、稳定、性能都有着极高标准的金融行业扎根,广泛应用于银行、证券、保险等领域,并在其他各行业不断开花结果。公司现已服务包括中国石油、中国民生银行、吉利控股集团、中国人寿(海外)、威立雅、星巴克等在内的多家世界500强企业。

DataPipeline数见科技已与数十家主流信创厂商完成产品适配优化,涵盖芯片、服务器、操作系统、数据库、大数据、云计算等多个领域,兼容互认证产品包括华为鲲鹏920、海光、飞腾、兆芯、中科曙光H系列服务器、银河麒麟、统信UOS、华为GaussDB、腾讯云TDSQL、巨杉SequoiaDB、TiDB、海量数据库、HashData、星环TDH、东方金信、青云等。产品满足相关行业高性能、高可用、高稳定、高可控等的能力诉求,能够有力支持重点领域信息化水平领先的用户实现中间件安全可信。数见科技在专业领域已获得中国信息通信研究院“数据集成工具基础能力专项评测”、软件能力成熟度集成模型三级认证(CMMI 3)、ISO9001 质量管理体系认证、知识产权管理体系认证等资质。同时,公司也凭借过硬的实力,获得了中国电子信息产业发展研究院《2021中国数字化转型生态建设百佳案例》、CFS第十届财经峰会“2021数字化转型推动力奖”、亚太银行数字化创新博览会“数字化指数科技创新奖”、金猿榜“大数据产业创新服务产品”、DTCC中国数据库技术大会 “2020 年技术卓越奖”等荣誉奖项。

产品介绍

DataPipeline实时数据产品利用实时数据融合打破技术壁垒,让客户专注数据价值释放。不仅支持数据迁移,应用数据集成,主数据管理,业务分析,ETL和数据质量等数据应用场景的数据获取与集成,同时它还提供将实时数据加载到ODS或者数据仓库中,帮助企业增强业务敏捷性和关键报表时效性的卓越能力。除了支撑传统数据应用场景,DataPipeline实时数据融合还可以直接将数据分发到Apache Kafka,Hive及HDFS等大数据平台,支撑企业的事件驱动营销、大数据分析及业务数据交换等各类场景。

DataPipeline实时数据融合通过多种实时数据技术,支持广泛的数据节点类型,协助客户构建以业务目标为导向的数据链路,按需快速定制、部署、执行数据任务,以支持从传统数据处理到实时数据应用的各类场景,这包括:

• Oracle、MySQL、Microsoft SQL Server、PostgreSQL等关系型数据库管理系统(RDBMS)作为数据目的地,例如数据仓库,ODS或跨应用集成等场景。

• Redis、MongoDB等NoSQL数据库作为数据目的地,例如互联网应用等需要快速迭代的场景。

• Hive或Kafka集群作为数据目的地,例如企业级大数据平台和企业级信息总线场景。

• TiDB、GaussDB、星环科技、巨杉数据库等国产化数据库作为目的地的数据迁移场景。

• 以上各类数据节点的云版本。

使用全快准的数据作为算法输入与决策依据

DataPipeline实时数据融合支持数十种主流数据库作为数据节点,打破企业域内各类异构数据技术构成的樊篱,让存储在不同类型数据节点中的数据随需可得;采用基于日志的增量数据获取技术(Log-based change data capture),为主数据管理、数据仓库、大数据平台提供实时、准确的数据变化,从而使得客户可以根据最新数据进行运营管理与决策制定;支持一对多数据分发,针对数据分发、外部数据管理等场景,确保整个企业使用的数据准确、可靠、一致。

• Oracle,通过特有增量数据采集代理读取数据库日志获取准确的增量数据,同时也支持LogMiner方式。

• MySQL,通过Binlog方式获取准确的增量数据。

• Microsoft SQL Server,支持CT与CDC两种增量数据获取模式。

• PostgreSQL,支持通过wal2json解析日志获取准确的增量数据。

• IBM DB2,支持通过集成IBM CDC Replication Engine for DB2解析日志获取准确的增量数据。

使用分层管理按需服务的配置型平台来提升IT敏捷开发效率

DataPipeline实时数据融合将数据节点注册、数据链路配置、数据任务构建、系统资源分配等各个环节分层次、分租户、分用户进行解耦。一方面保证数据节点的安全性、稳定性、业务连续性,一方面为数据应用提供更多的自主性,使客户可以将数据获取的范围、数据任务的生命周期、系统资源投入的多寡等权限更多的交给实际使用数据的业务部门及应用开发人员。提升敏捷开发效率,实现多速IT,从而在业务需求变化时从容应对,达成数字化转型目标。

• 节点管理,通过基本配置注册实时数据融合相关的各类数据节点,通过限制配置限制数据任务执行过程中对数据节点的访问,操作动作范围及规则,通过策略配置指定语义映射、多节点降级顺序等数据融合任务执行过程中需遵循的策略。

• 链路管理,以业务目标为导向,通过基本配置选择数据链路的相关数据源与数据目的地,建立数据对象映射关系,通过限制配置和策略配置,指定在整个数据链路域内的传输速率上限、结构变化策略、一致性保障策略及预警、日志、自动重启等任务执行策略。

• 任务管理,在已配置完善的数据链路的逻辑框架下,通过基本配置,选择数据链路、选择资源分组、选择任务执行方式,通过限制配置与策略配置对基于链路设定之下的各类限制与策略进行个性化配置。

• 资源管理,通过基本配置,注册、发现系统资源,建立资源分组,通过限制配置限制数据任务执行过程中对系统资源的使用限制,通过策略配置指定任务执行过程中系统资源状态变化与事件发生的应对策略与规则。

通过高容错的分布式系统和卓越的性能来降低风险

无论是在不同系统间进行数据传递还是将不同系统的数据进行融合,业务连续性、稳定性及性能都至关重要,DataPipeline实时数据融合所有组件均支持高可用,融合引擎基于容器化分布式集群部署,支持动态扩缩容;在节点管理、链路管理、任务管理中均有各个层次稳定性相关策略配置。针对数据采集、消息队列及数据加载的各个组件都进行了一系列专门的性能优化,完全满足客户从数据迁移、数据交换到实时数据服务、实时数据分析的各类时间窗口要求和时效性要求。

• 支持容错性策略配置,数据节点多节点降级策略、融合任务错误队列策略、数据源结构变化策略、融合任务自动重启策略。

• 在满足推荐配置的性能测试中,数据采集速度可达近百兆每秒,在客户实际生产环境中,日均处理数据10亿行以上,单任务日处理数据量1T以上。

使用专业化商业套件来降低基础平台研发成本

DataPipeline实时数据融合作为专业化商业套件,通过多年在各个行业的数据融合领域经验积累,将各类专业数据融合技术以专业化产品的方式按照数据节点、数据链路、融合任务、系统资源四个逻辑概念,基本配置、限制配置、策略配置三个层次提供给用户进行配置式构建,大大降低了企业搭建基础平台的研发成本与运维成本,让客户能够将时间精力与优质资源投入到数据价值释放与商业价值实现上去。

• 数据工程师将精力集中在数据分析与数据价值挖掘,而不是数据链路的研发与融合任务的运维上。

• 企业级平台的建设周期从三到六个月减少为一周以内,财务成本由300万+减少到30万以内。

数据融合任务的研发交付时间从2周减少为5分钟。

行业覆盖

数见科技自成立以来,一直坚持技术驱动、深耕企业服务。数见科技在对于安全、稳定、性能都有着极高标准的金融行业扎根,广泛应用于银行、证券、保险等领域,并在其他各行业不断开花结果。公司现已覆盖金融、零售、能源、制造、地产、交通、医疗、互联网等重点领域。

服务客户

民生银行、中国石油、山东城商行联盟、中国人寿(海外)、财通证券、财通证券资管、吉致汽车金融、长城滨银、尚诚消费金融、恒泰证券、吉利集团、星巴克、销售易、玫琳凯、龙湖、上海悠星、叮当快药、MOKA、正保教育、邵逸夫医院 、阳光城集团、百胜中国、贝发集团、威立雅、太平鸟、金风科技、风变科技、顺如丰来、旭辉地产、遨森电商、云南开放大学、万纬物流、东方物探、台州市立医院。

发展历程

2016 年 6 月

获峰瑞资本天使轮融资

2017 年 8 月

产品上线并获得世界和中国 500 强客户

2017 年 12 月

获经纬中国领投 A 轮 2100 万元人民币融资

2018 年 12 月

成功入选微软加速器 企业创新力获业界专家认可

2019 年 4 月

入选 “2019 创新互联网企业 TOP100” 榜单

2019 年 9 月

获得带有 IAF 和 CNAS 标识的 ISO9001 质量管理体系认证

2019 年 10 月

获得 CMMI3 级认证,在软件研发标准化流程、项目管理等方面与国际主流模式接轨

2019 年 12 月

获亿欧颁发 “2019 全球明日之星 TOP100 企业” 奖

2020 年 12 月

DataPipeline 完成数千万元人民币的 A+ 轮融资

2021 年 1 月

获得 2020 金猿榜「大数据产业创新服务产品」奖。

2021 年 1 月

DataPipeline 通过华为鲲鹏兼容性认证

2021年

DataPipeline完成数千万B轮融资

2021 年 5 月

DataPipeline实时数据融合平台V3.0里程碑版发布

2021 年 7 月

DataPipeline成为信息技术应用创新工作委员会会员单位

2021年8月

与华为云GaussDB数据库完成兼容互认证并加入openGauss社区

团队组成

陈诚

DataPipeline 创始人 & CEO

本科就读于上海交通大学,美国密西根大学获荣誉毕业,曾就职于美国 Google、Yelp 等国际知名公司,专注于大数据、计算机算法、软件工程、互联网产品等领域的研究,是大数据领域的实战派专家。

陈肃

DataPipeline 合伙人 & CTO

中国科学院大学博士,十余年技术开发和管理经验,曾就职于中国移动研究院,担任科研及实验室项目负责人。善于通过各类开源软件提升研发质量与效率,拥有 5 项发明专利。

陈雷

DataPipeline 合伙人 & CPO

曾任 IBM 大中华区认知物联网实验室服务部首席数据科学家、资深顾问经理。十年管理经验,十五年数据科学领域与金融领域经验。综合交通大数据应用技术国家工程实验室产业创新部主任,西安交通大学软件学院大数据智能创新中心主任,中国电子学会区块链专委会委员。

公司荣誉

重要荣誉:

2021年:

CFS第十届财经峰会2021数字化转型推动力奖

华鹰奖BDI数字化指数科技创新奖;

2020年:

金猿榜大数据产业创新服务产品;

深信服科技主办IT 创新大赛决赛十强奖;

DTCC “2020 年技术卓越奖”;

2019 年:

金猿奖·大数据产业创新服务产品;

2019 全球明日之星 TOP100 企业;

2019中国新互联网企业·创新互联网企业TOP100;

2019 年度最佳创新产品奖;

2018 年:

成功入选微软加速器;

重要资质:

中国电子工业技术协会信息技术应用创新工作委员会会员单位

国家高新技术企业

中关村金种子企业

专业认证

中国信息通信研究院《数据集成工具基础能力专项评测》

软件能力成熟度集成模型三级认证(CMMI 3)

ISO9001 质量管理体系认证

知识产权管理体系认证证书

公司文化

公司使命:连接一切数据、应用和设备

公司愿景:成为中国的世界级数据中间件厂商

公司文化:不忘初心,技术驱动,客户第一,深挖本源,言出必果,无私分享

生态合作

截止2021年8月,DataPipeline已与华为云、百度云、微软云、AWS、星环科技、巨杉数据库、PingCAP、HashData、麒麟软件等产业上下游合作伙伴建立了生态合作关系。

投资机构

2016年03月,获得受来自峰瑞资本的天使轮500万人民币融资;

2018年04月,获得由经纬中国领投、峰瑞资本跟投的A轮2100万人民币投资;

2019年04月,获得由百度风投领投、经纬中国和清流资本跟投的A+轮数千万人民币投资;

2021年05月,宣布完成由知名风险投资机构金沙江创投领投、百度风投和清流资本跟投的B轮数千万元人民币融资

用数据驱动决策与创新!