大数据项目需考量的四个因素
发布网友
发布时间：2022-04-22 23:28
共1个回答
热心网友
时间：2022-04-27 22:51
大数据项目需考量的四个因素
Hadoop系统和NoSQL数据库已经成为管理大数据环境的重要工具。不过，在很多情况下，企业利用他们现有的数据仓库设施，或是一个新老混合的技术来对大数据流入他们的系统进行管理。
无论一个公司部署什么类型的大数据技术栈，有一些共通的因素必须加以考量，以保证为大数据分析工作提供一个有效的框架。在开始一个大数据项目之前，去审视项目所要承担的新数据需求的更大图景显得尤为关键。下面来让我们检视四个需要加以考量的因素。 数据准确性 数据质量问题对于BI和数据管理专业人士来说一定不陌生。很多BI和分析团队努力保证数据的有效性并说服业务使用人员去信任信息资产的准确性和可靠性。作为个性化分析库而得以广泛使用的电子表格或电子报表软件可以对数据中信任缺乏的问题加以弥补：在Excel中存储和操作分析数据的功能为支持自助分析能力创造了环境，但可能不会激发其他用户对结果的自信心。数据仓库与数据集成和数据质量工具一起，能够通过为管理BI和分析数据提供标准化流程来帮助树立信心。但是，由于不断增加的数据容量和更广泛多样的数据类型，特别是当涉及结构化和非结构化数据混合时，就会对一个大数据的实施增加难度系数。建立评估数据质量标准以及对它们进行升级以处理那些更大、更多样数据集，对于大数据实施的成功和分析框架的使用是至关重要的。 存储适用 数据仓储的一个核心要求是处理和存储大数据集的能力。但并不是所有数据仓库在这方面都满足要求。一些是针对复杂查询处理进行优化，而其他的则并非如此。并且在许多大数据应用程序中，相较于事务系统，由于添加了非结构化数据还有数据的创建和收集增速迅猛，用Hadoop和NoSQL技术增强数据仓库就成为必要。对于一个希望获取并分析大数据的组织来说，光有存储容量是不够的；而重要的部分在于将数据置于何处才是最佳的，这样数据就可以转化为有用信息并为数据科学家和其他用户所利用。 查询性能 大数据分析依赖于及时处理和查询复杂数据的能力。一个很好地例子就是：一家公司开发了一个数据仓库用来维护从能源使用计收集到的数据。在产品评估过程中，某供应商的系统有能力在15分钟内处理七百万条记录，而另一家则在相同时间内可以处理最高三十万条记录。能否识别正确的基础设施来支持快速的数据可用性和高性能查询就意味着成功还是失败。 稳定性 随着许多组织中数据量和数据种类的增长，大数据平台的建立需要有对未来的考量。必须提前考虑和求证正在进行评估的大数据技术是否能够进行扩展，以达到不断向前发展的需求所要求的级别。这便超出了存储容量的范畴，将性能也包含了进来，对那些从社交网络，传感器，系统日志文件以及其他非事务源获取数据作为其业务数据扩展的公司来说尤为如此。
