数据管理的趋势正围绕着创建一个整体数据框架的需求而汇聚,这个框架中的数据可以在云端、数据中心,无论是远程还是本地环境中被访问。无论是结构化数据还是非结构化数据,都必须能够在云端、本地和远程平台之间轻松且安全地传输,并且必须保证有需求了解数据的人能够随时获取,而其他人则无法访问。
专家预测,在两年内全球数据量将达到 175 泽字节,其中很大一部分数据来自物联网(IoT)设备。无论规模大小,所有公司都将面临大量数据,其中大部分是非结构化数据,且不一定与长期以来驱动企业资源规划(ERP)等关键任务型企业系统的记录系统(SOR)数据库兼容。
即使是非结构化数据,也应遵循许多与管理结构化 SOR 数据相同的规则。例如,如果企业要依赖非结构化数据,就必须以最高的数据完整性和可靠性标准对其进行保护。它还必须符合法规和内部治理标准,并且必须能够在云端系统、内部数据存储库和移动存储设备之间的系统和应用程序中自由传输。
为了跟上日复一日管理大量高速且多样的数据的巨大需求,基于软件的工具和自动化技术必须融入数据管理实践中。像数据可观测性这样的新型自动化技术将变得愈发重要,尤其是随着用户自助开发和本地化数据使用的不断扩展。
当企业 IT 部门制定其数据管理路线图时,所有这些因素都需要仔细考虑。因此,以下是 2025 年出现的七大数据管理趋势。
1. 混合端到端数据管理框架
企业可以预期会有大量来自广泛来源的结构化和非结构化数据,这些来源包括外部云服务供应商;物联网设备、机器人、无人机、射频读取器以及核磁共振成像(MRI)或数控机床(CNC);内部 SOR 系统;以及使用智能手机和平板电脑的远程用户。所有这些数据可能会被长期或短期存储在本地数据中心、云端,或者移动或分布式服务器平台上。在某些情况下,实时数据在实时传输时可能需要进行监控和访问。
在这种混合环境中,数据、数据的用途以及数据的使用者都是多样化的 —— 数据管理者将需要能够涵盖所有这些混合活动和用途的数据管理和安全软件,以便数据能够安全可靠地从一个点传输和存储到另一个点。
IBM 在数据管理框架领域处于领先地位,但SAP、Tibco、Talend、Oracle等公司也提供端到端的数据架构管理解决方案。数据管理的另一个方面是无论数据从何处发送或存储在何处,都能够对其进行保护 —— 来自Fortinet、Palo Alto Network和 Crowdstrike 等供应商的端到端安全网状软件可以满足这一需求。
2. 数据可观测性工具的整合
由于现在许多应用程序使用多个云和本地平台来访问和处理数据,可观测性 —— 即使用软件跨多个平台和系统障碍跟踪数据和事件的能力 —— 成为了希望监控数据和应用程序端到端移动情况的企业的一个关键关注点。如今,大多数使用可观测性工具的组织面临的问题是,他们使用了太多不同的工具来实现跨平台的数据和应用程序端到端可见性。
Middleware 和 Datadog 等供应商认识到了这一点,并专注于提供集成的、“单一管理界面” 的可观测性工具集。这些工具使企业能够将他们使用的不同可观测性工具减少到一个单一的工具集,该工具集能够监控跨多个云和本地系统及平台的数据和事件移动情况。
3. 遗留系统的主数据管理
随着企业采用新技术向前发展,他们面临着如何处理旧技术的挑战。但其中一些旧技术作为遗留系统仍然具有价值 —— 遗留系统是指那些已经过时但仍在运行对企业至关重要的关键任务功能的系统。
一些遗留系统,例如SAP或Oracle的企业资源规划(ERP)系统,为在其云和本地解决方案上管理数据提供了全面、集成的主数据管理(MDM)工具集。越来越多使用这些系统的企业正在采用并部署这些 MDM 工具集,作为其整体数据治理策略的一部分。
MDM 工具提供了用户友好的方式来管理系统数据并从外部来源导入数据。无论数据存储在何处,MDM 软件都能提供数据的单一视图,并且由 IT 部门设置数据一致性、质量、安全性和治理方面的 MDM 业务规则。
4. 使用人工智能 / 机器学习进行数据管理
虽然使用人工智能和机器学习(AI/ML)进行数据管理的趋势并不新鲜,但在大数据问题的推动下,其受欢迎程度持续增长。企业面临着管理前所未有的大量数据的问题,而整个科技行业,尤其是专注于数据的职位,都存在持续的人员短缺问题。
人工智能和机器学习为容易出现人为错误的手动流程引入了极具价值的自动化。像数据识别和分类这样的基础数据管理任务,可以由人工智能 / 机器学习领域的先进技术更高效、准确地处理,并且企业正在使用它们来支持更高级的数据管理任务,例如:
(1)数据编目(2)元数据管理(3)数据映射(4)异常检测(5)元数据自动发现(6)数据治理控制监控
随着人工智能 / 机器学习的不断发展,我们可以预期会看到提供基于智能和学习的方法(包括搜索、发现和容量规划)的软件解决方案。
5. 优先考虑数据安全
数据泄露可能会破坏公司的声誉、影响收入、危及客户忠诚度,甚至导致人员被解雇。这就是为什么所有 IT 领域的安全,尤其是随着更多 IT 向边缘和物联网领域发展,成为了首席信息官(CIO)的重要优先事项和主要的 IT 投资领域。
为了应对数据安全挑战,安全解决方案提供商正在朝着提供更多端到端安全架构解决方案的方向发展。他们还为员工和 IT 人员提供培训,因为用户自助开发的增加以及用户不良的安全习惯可能是数据泄露的主要原因。
尽管许多这些安全功能将由 IT 和网络团队执行,但干净、安全和可靠的数据同样也是数据库管理员、数据分析师和数据存储人员最关心的问题。
6. 自动化数据准备
大数据量的指数级增长和数据科学人才的减少给组织带来了压力。在某些情况下,超过 60% 的昂贵的数据科学时间都花在了清理和准备数据上。
软件供应商希望通过增加数据准备和清理自动化软件来改变这一企业痛点,这些软件可以执行这些繁琐的手动操作。自动化数据准备解决方案通常使用人工智能和机器学习来摄取、存储、组织和维护数据,并且可以处理像数据准备和数据清理这样的人工密集型任务。
7. 使用区块链和分布式账本技术
分布式账本系统使企业能够维护更安全的交易记录、跟踪资产并保留审计线索。这项技术与区块链技术一起,以去中心化的形式存储数据,这些数据无法被篡改,从而提高了与数据处理相关记录的真实性和准确性。这包括金融交易数据、敏感数据检索活动等等。
区块链技术可用于数据管理,以提高数据的安全性、可共享性和一致性。它还可用于提供自动验证,为改善数据治理和安全提供途径。
总结:数据管理的未来
随着企业面临从各种来源收集和分析大量数据的需求,他们在寻找新的数据管理方法,以跟上不断增长的需求。像人工智能 / 机器学习和区块链这样的前沿技术可用于自动化和增强数据管理的某些方面,软件供应商正在将这些技术整合到他们的平台中,使其成为工作中不可或缺的一部分。随着新技术的不断发展,数据管理方法也将随之演变,将这些技术整合到由不断增长的需求驱动的流程中。