2021年大数据分析的5大挑战

2021年即将来临。是时候深入研究最典型的[大数据分析]问题,调查可能的根本原因,并重点介绍针对这些问题的潜在解决方案。

当您的大数据分析系统尚处于概念阶段时,最好从一开始就考虑明智。一旦系统已经启动并运行,实施任何修复程序都可能会非常昂贵。

在当今的数字世界中,公司采用大数据业务分析来改善决策,提高责任心,提高生产率,做出更好的预测,监控绩效并获得竞争优势。但是,许多组织在战略水平上使用商业智能分析存在问题。根据[Gartner的调查],有87%的公司具有较低的[BI(商业智能)]和分析成熟度,缺乏数据指导和支持。业务数据分析的问题不仅与分析本身有关,而且还可能由深层的系统或基础结构问题引起。

1.业务分析解决方案无法提供新的或及时的见解

想象一下,您已经投资了一个分析解决方案,力求获得独特的见解,以帮助您做出更明智的业务决策。但是有时候,您的新系统所提供的见解似乎与您以前获得的见解具有相同的水平和质量。可以从根本上通过业务或技术的角度解决此问题。

1.1。缺少数据

您的分析数据不足,无法生成新的见解。这可能是由于缺乏数据集成或不良的数据组织造成的。

在这种情况下,进行数据审核并确保现有数据集成可以提供所需的见解是很有意义的。新数据源的集成也可以消除数据的缺乏。还值得检查原始数据如何进入系统,并确保公开所有可能的维度和指标以进行分析。最后,数据存储的多样性也可能是一个问题。可以通过引入Data Lake来解决这一问题。

1.2。长数据响应

当您需要实时获取见解时,通常会发生这种情况,但是您的系统是为批处理而设计的。因此,您这里和现在需要的数据仍然无法使用,因为它们仍在收集或预处理中。

检查您的ETL(提取,转换,加载)是否能够根据更频繁的计划来处理数据。在某些情况下,批处理驱动的解决方案可以将计划调整提高2倍。另一个选择是使用一种称为Lambda Architecture的体系结构方法,该方法可让您将传统的批处理管道与快速的实时流结合起来。

1.3。旧方法应用于新系统

您已将典型报告传输到新系统。但是通过问老问题很难获得新的答案。这主要是一个业务问题,并且针对此问题的可能解决方案因情况而异。最好的方法是咨询主题专家,该专家在分析方法方面拥有丰富的经验,并且了解您的业务领域。

2.不准确的分析

没有比分析不准确对企业更糟糕的了,这个问题需要尽快解决。

2.1。源数据质量差

如果您的系统依赖于有缺陷,错误或不完整的数据,那么您将得到较差的结果。数据质量管理和涵盖ETL过程每个阶段的强制性数据验证过程可以帮助确保不同级别(语法,语义,语法,业务等)的传入数据的质量。它使您能够识别并清除错误,并确保对一个区域的修改立即全面显示出来,从而使数据纯净而准确。

2.2。与数据流有关的系统缺陷

当由于开发,测试或验证过程中的人为错误干预而忽略或未完全满足系统要求时,就会发生这种情况。

通过对开发生命周期进行高质量的测试和验证,可以减少此类问题的发生,从而最大程度地减少数据处理问题。即使使用高质量数据,您的分析也可能会提供不准确的结果。在这种情况下,对系统进行详细检查并检查数据处理算法的实施是否无故障是有意义的。

3.在复杂的环境中使用数据分析

下一个问题可能会带来为创建有效解决方案而付出的所有努力。如果使用数据分析变得太复杂,您可能会发现很难从数据中提取价值。复杂性问题通常可以归结为UX(当用户难以导航系统并难以从报告中获取信息时)或技术方面(当系统设计过度时)。让我们整理一下。

3.1。凌乱的数据可视化

您的报告的复杂程度太高。这很耗时或很难找到必要的信息。可以通过聘请UI / UX专家来解决此问题,这将帮助您创建引人注目的灵活的用户界面,该界面易于浏览和使用。

3.2。系统设计过度

系统处理的场景更多,并为您提供了比您需要的功能更多的功能,从而使焦点模糊。这也将消耗更多的硬件资源并增加您的成本。结果,用户仅使用部分功能。其余的悬挂就像是自重,看来解决方案太复杂了。

识别过多的功能很重要。让您的团队团结起来并定义关键指标:您想精确地测量和分析哪些内容,经常使用哪些功能以及您的重点是什么。然后摆脱所有不必要的事情。让您业务领域的外部专家来帮助您进行数据分析也是一个很好的选择。

4.系统响应时间长

即使输入数据已经可用,系统仍然花费太多时间来分析数据,并且现在需要报告。对于批处理而言,它可能并不那么重要,但是对于实时系统而言,这种延迟可能会花费很多钱。

4.1。效率低下的数据组织

也许您的数据组织起来非常困难。最好检查您的数据仓库是否根据所需的用例和方案进行设计。如果不是这样,重新设计肯定会有所帮助。

4.2。大数据分析基础架构和资源利用方面的问题

问题可能出在系统本身,这意味着它已达到其可扩展性极限。也可能是您的硬件基础架构不再足够。

这里最简单的解决方案是升级,即向系统中添加更多的计算资源。只要它能在负担得起的预算内帮助改善系统响应,并且资源得到合理利用,就很好。从战略角度来看,更明智的方法是将系统拆分为单独的组件,并分别进行扩展。但是请记住,这可能需要对系统重新设计进行额外的投资。

5.昂贵的维护

任何系统都需要对其维护和基础架构进行持续投资。每个企业主都希望尽量减少这些投资。因此,即使您对维护和基础架构的成本感到满意,但重新审视系统并确保您没有多付钱始终是个好主意。

5.1。过时的技术

每天都会出现可以更快,更便宜地处理更多数据量的新技术。因此,与现代技术相比,您的分析所基于的技术迟早会过时,需要更多的硬件资源,并且维护成本会更高。很难找到愿意基于遗留技术开发和支持解决方案的专家。

最好的解决方案是转向新技术。从长远来看,它们不仅使系统的维护成本降低,而且还提高了可靠性,可用性和可伸缩性。逐步进行系统重新设计,并逐步用新元素替换旧元素,这一点也很重要。

5.2。非最佳基础架构

基础架构是始终具有优化空间的成本组件。如果您仍在本地,则迁移到云可能是一个不错的选择。借助云解决方案,您可以按需付费,从而大大降低了成本。如果您有与安全性相关的任何限制,则仍可以迁移到私有云。如果您已经在云上,请检查是否有效地使用它,并确保已实施所有最佳实践以减少支出。

5.3。您选择的系统工程过度

如果您不使用大多数系统功能,那么您将继续为其使用的基础架构付费。根据您的需求修改业务指标并优化系统会有所帮助。您可以用更符合业务需求的简单版本替换某些组件。

结论

调整现有的业务分析平台是可能的,但可能会变成一项艰巨的任务。如果您在新的解决方案设计和实施过程中遗漏任何东西,可能会导致时间和金钱的损失。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 夜莺2517阅读 127,782评论 1 9
  • 版本:ios 1.2.1 亮点: 1.app角标可以实时更新天气温度或选择空气质量,建议处女座就不要选了,不然老想...
    我就是沉沉阅读 11,828评论 1 6
  • 我是黑夜里大雨纷飞的人啊 1 “又到一年六月,有人笑有人哭,有人欢乐有人忧愁,有人惊喜有人失落,有的觉得收获满满有...
    陌忘宇阅读 12,717评论 28 53
  • 兔子虽然是枚小硕 但学校的硕士四人寝不够 就被分到了博士楼里 两人一间 在学校的最西边 靠山 兔子的室友身体不好 ...
    待业的兔子阅读 7,488评论 2 9