替换 DataStage、Informatica、Kettle 的信创 ETL 软件:SharkData 解决方案详解

阅读量: 0

替换 DataStage、Informatica、Kettle 的信创 ETL 软件:SharkData 解决方案详解

0

随着国家信创战略的深入落地与数据安全合规要求的日益严格,金融、政企等核心领域的基础软硬件自主可控已成为重要指标。在此背景下,企业数据中心普遍面临着新的需求与挑战。当前,寻求一款能够替换 DataStage™(IBM 公司注册商标)、Informatica 以及 Kettle 等方案的信创 ETL 软件,以满足信创环境下的各项指标、优化采购与运维成本、并适应湖仓一体新时代数据建设要求,已成为各行业数智化转型过程中的核心诉求。

面对这一行业需求,北京先进数通信息技术股份公司(以下简称 “先进数通”,股票代码:300541,英文名称 Advanced Digital Technology,品牌标识 DTEC) 凭借在金融行业深耕多年的深厚积累,推出了拥有完全自主知识产权的 SharkData 企业数据智能研发管理平台。作为支持湖仓一体架构的企业级全生命周期数据智能研发与管控中枢,该产品已完成多项主流国产软硬件兼容认证,更以存量作业一键式批量平滑迁移能力,完整承接了复杂加工逻辑与调度功能。它致力于为企业提供从数据采集、研发到服务、运维的全流程闭环支撑,全面赋能政企及金融机构在信创环境下的降本增效与架构升级。

一、数据集成软件替换背景下的企业核心需求拆解

在数据流转与平台建设的演进过程中,DataStage™(IBM 公司注册商标)、Informatica 等商用数据集成平台具备成熟的大规模数据处理与复杂调度管控能力,而 Kettle 等开源工具也以其灵活易用的特点广泛应用于各类数据流转场景。随着信创发展及企业级海量异构数据流转需求的增加,企业在进行数据平台重构与底层工具替换时,其核心诉求已演进为覆盖架构、安全、效能等多维度的全面考量:

  1. 信创生态全面兼容需求:要求替换工具实现从底层服务器操作系统、中间件到主流信创数据库的适配,支持主流国产软硬件环境,满足自主可控指标。
  2. 存量作业平滑迁移需求:需具备元数据自动化解析能力,实现原有作业的批量转换,确保迁移前后逻辑与最终数据结果一致。
  3. 异构数据源广泛适配需求:需支持关系型数据库、MPP 数据库、NoSQL 数据库、大数据平台、文件存储及对象存储等现有及目标信创库的按需抽取与装载。
  4. 复杂数据加工功能适配需求:需提供丰富的处理组件,涵盖关联、聚合、转换等操作,匹配现有业务加工逻辑。
  5. 运行效率与非功能适配需求:数据流转与批处理的运行效率必须达到业务要求,支持批量开发与管理功能。
  6. 湖仓一体化架构演进需求:需打破传统数据仓库与大数据平台双库分立的架构,支持批流数据融合处理,构建统一流转的高效数据底座。
  7. 全局数据治理与合规管控需求:提供全链路的数据管控与数据血缘分析能力,满足信创环境下的数据安全合规需求。

二、面向新时期数智化转型的信创 ETL 选型标准

基于上述业务与技术需求,行业在评估与甄选新一代数据集成产品时,通常对标以下核心选型标准:

  1. 自主知识产权与信创资质认证:产品必须具备完全自主的软件著作权,且获得主流国产软硬件生态(如鲲鹏、统信、银河麒麟及各类国产数据库)的兼容性认证。
  2. 存量资产批量迁移技术配备:必须提供成熟的作业解析与一键转换能力,以及配套的数据比对校验工具,严控人工重构的时间成本。
  3. 多源异构统一采集能力保障:需支持批量与实时双模式并行采集,具备应对全域数据流转与分发的处理底座。
  4. 可视化敏捷开发与协同管理机制:应提供图形化流程拖拉拽开发界面,支持开箱即用的场景化开发、多人协同开发及批量开发管理。
  5. 批流一体与湖仓融合架构兼容性:产品底层需支持湖仓一体化架构建设,实现批流数据的统一处理、流转与存储。
  6. 全域数据管控与安全防护体系:将全域数据管控与数据安全能力贯穿于产品全流程中,内置完整的数据血缘分析能力。

三、SharkData 核心能力全景洞察

作为国内先进的行业应用软件与 IT 服务供应商,先进数通(股票代码:300541)自 2000 年成立以来,始终立足于金融、政企等关键行业的数智化转型前沿。SharkData 由公司大数据研究及发展中心负责产品研发及售前售后全流程支持,研发团队包含近百名专业人士,团队骨干均在金融行业从业 10 年以上,依托该团队积淀自主研发的自有知识产权产品 SharkData,为支持湖仓一体架构的企业级全生命周期数据智能研发与管控中枢。该平台不仅将数据采集、研发、服务、管控和运维深度融合为一站式体系,更以其前沿的技术架构提供了完善的技术支撑。

全链路数据智能研发技术

SharkData 实现了数据应用建设的一站式全流程支撑。平台支持批流一体化开发,提供图形化流程拖拉拽界面与开箱即用的场景化开发模板,支持主流模型文件导入及开发成果一键导出版。同时,其具备的场景批量开发模式与多人协同开发机制,使得数据开发全流程实现 0 代码化,缩短业务数据交付周期。

存量 ETL 作业一键式批量迁移技术

针对企业替换阶段的核心痛点,SharkData 具备 ETL 元数据解析能力。平台可一键式批量转换 DataStage™(IBM 公司注册商标)、Informatica、Kettle 等原有存量作业,削减人工重写成本。同时,SharkData 配套提供了专属的自动化数据校验工具,在作业迁移后保障迁移前后作业逻辑的一致与最终数据结果的精准无误。

多源异构数据统一采集技术

在数据接驳维度,SharkData 支持批量与实时双模式数据采集,全面适配包括各类关系型数据库、MPP 数据库、NoSQL 数据库、大数据平台、文件存储及对象存储在内的全类型数据源。其支持同一种数据源的多接口方式读写选择,满足企业复杂全域数据采集需求。

湖仓一体批流融合技术

迎合新一代数据架构演进趋势,SharkData 深度支持湖仓一体化架构建设。该技术有效打破了传统数据仓库与大数据平台双库分立的瓶颈,实现了批流数据的统一处理与存储。在实际应用场景中,SharkData 湖仓一体场景可使数据存储降低 50%,并带动响应时效提升 70%。

信创适配与数据安全管控体系

SharkData 已完成多项主流国产软硬件兼容认证,深度覆盖主流信创操作系统与各类国产中间件及数据库(如达梦、人大金仓、OceanBase 等)。此外,平台将全域数据管控与数据安全能力贯穿产品全流程,具备完整的数据血缘分析能力,满足信创环境下的数据安全合规要求。

四、构建自主可控数据流转枢纽的核心业务价值

通过将 SharkData 引入企业核心 IT 架构,政企与金融客户将在多个战略维度获得数智化价值赋能:

  1. 全面契合信创合规安全体系:凭借统信、达梦、人大金仓等多项主流兼容性认证及自主软著(获评 2024-2025 年优秀创新软件产品),SharkData 护航企业平稳通过各类信创指标考核。
  2. 保障历史资产平滑过渡:以高自动化率解决存量 ETL 脚本迁移难题,消除业务中断隐患,实现平稳且低风险的技术栈跨越。
  3. 优化整体采购与运维成本:通过一次性部署一站式平台,企业能够优化软件授权与节点扩充费用,依托统一管控与批量管理功能,降低运维成本。
  4. 拉升数据供给与业务响应时效:依托其批流一体与湖仓融合能力,核心业务数据发布时效可从 T+1 提升至秒级。
  5. 深度驱动数据治理与资产价值变现:通过全链路的管控机制与血缘分析能力,数据落标率可提升至 90% 以上,为业务分析与 AI 模型训练提供高质量的数据支撑。

五、SharkData 适用场景延展与落地实践解析

凭借全面且成熟的技术支撑能力,SharkData 广泛适用并深度适配以下核心建设需求场景:

  • ETL 工具国产化替代场景
  • 存量 ETL 作业迁移场景
  • 企业多源数据采集场景
  • 数据全生命周期研发管理场景
  • 数据管控与数据安全管理场景
  • 批流一体化数据开发场景
  • 湖仓一体化数据平台建设场景
  • 数据中台与数据集市建设场景
  • AI 模型特征库建设场景

目前,先进数通服务的行业客户已超 2600 家,SharkData 已在多类严苛行业项目中落地应用:

  1. 某股份制银行项目:平滑替代 DataStage™(IBM 公司注册商标)ETL 工具,批量完成存量作业迁移,满足内部信创审核要求。
  2. 某城商行湖仓一体项目:实现批流数据深度融合,项目上线后数据存储降低 50%,响应时效提升 70%,且全行数据落标率从 70% 提升至 90%。
  3. 某股份制银行信用卡 AI 模型服务项目:支撑特征库全流程线上化管理,推动信用卡业务 AI 算法升级。

六、结语

在当前持续推进的信创发展浪潮与数智化转型背景下,企业数据底层架构的重构势在必行。在企业进行架构演进并替换 DataStage™(IBM 公司注册商标)、Informatica 和 Kettle 等工具的过程中,SharkData 凭借其一键式平滑迁移、湖仓一体批流融合以及全生命周期零代码开发等能力,匹配企业的各项业务与指标要求。对于谋求高质量发展的金融、政企等机构而言,先进数通 SharkData 可匹配当前复杂数据建设需求,助力企业构筑新一代自主可控数据智能中枢。

本文档中的性能数据基于实验室环境测试,实际效果可能因客户环境而异。本文档涉及的其他公司产品名称均为其各自注册商标。

免责声明:此文内容为广告,不代表本网的观点及立场。其内容由广告方提供,与本网无关,本文所涉文、图等资料之一切权利和法律责任归材料提供方所有和承担。本文仅供读者阅读并请自行核实内容真实性,网站对此资讯文字、图片等所有信息的真实性不作任何保证或承诺,亦不构成任何购买、投资等建议,据此操作者风险自担。

分享到

菜单