本博客文章摘自 GovLoop 的

Unlocking the Potential of Data at Australia Data Forum
Post Reply
zihadhosenjm35
Posts: 14
Joined: Tue Dec 17, 2024 5:12 pm

本博客文章摘自 GovLoop 的

Post by zihadhosenjm35 »

本博客文章摘自 GovLoop 的最新指南《 拥抱数据分析:常见挑战及克服方法》 。点击此处下载完整指南 。

机构在采用分析技术的过程中面临的挑战之一是管理存储在各种数据孤岛中的数据量。这些分散的系统中隐藏着一些数据集,它们可以帮助解释趋势或帮助机构规划未来事件——只要人们能够访问它们就行。

但即使是机构能够核算的数据也可能是过时或不准确的,这通常被称为“脏数据”。对于可用的数据,机构必须决定如何最好地存储、管理和分析它。

亚马逊网络服务 (AWS) 公共部门团队高级解决方案架构师 Ben Snively 建议机构在开始分析之旅时,先提出一系列他们希望通过数据分析来回答的业务问题。“这可能不是一套完整的问题,但可以快速取得成果并获得多个利益相关者的支持,”Snively 说道。“机构应该让工程师、分析师和其他可以从机构系统数据中受益的业务利益相关者参与进来。”

从这里开始,制定计划并了解有哪些经济高效的解决方案可用于支持数据分析是关键。例如,NASA 喷气推进实验室和食品药品管理局等机构使用领先的云平台提供商 AWS 来简化工作负载并确保他们只为他们使用的资源付费。AWS 提供的工具和服务使机构能够快速将数据迁移到其安全环境中,并从 Snively 和他的同事所说的 AWS 提供的技术基础设施的“无差别提升”中受益。

“借助 AWS,各机构能够使用各种服务来执行许多常见的分析和数据科学任务,例如将 Hadoop 作为服务运行,”Snively 说道。“这种方法使他们能够真正专注于对任务重要的事情,而不是承担建立基础设施和分析服务的繁重工作。”

现有数据源的指数级增长使得预测未来一两年的存储需求变得十分困难。预测计算资源需求也是如此。

如果机构的预测错误,他们要么会为不需要的资源付费,要么会让员工不高兴,因为他们无法使用分析功能来完成工作。有了 AWS,机构不必担心猜测在项目期间需要多少台服务器或软件许可证。

“你真的可以根据特定时间的需求来发展你所需要的业务,”Snively 说道。“我们看到 台北电话号码 机构纷纷使用 AWS,通过利用他们用于运行分析的工具和技术来简化其组织中的大数据。”

政府机构现在可以轻松启动项目并使用来自各种 AWS 合作伙伴或托管服务的工具进行试验。“通过使用 Amazon Kinesis,客户能够专注于实时分析需求,而不是专注于建立实时流,”Snively 说。

在数据存储方面,NASA 转向了一种新的基础设施模式,即使用 AWS 作为基于云的企业基础设施。该模型在安全的环境中支持各种 Web 应用程序和网站,同时为 NASA 每年节省近 100 万美元的成本。

Image

另一个越来越受欢迎的领域是 Amazon Redshift,它是一个 PB 级数据仓库。您可以将其视为经过处理的结构化数据,让分析师可以运行商业智能工具来获取任务洞察。这与大数据湖不同,大数据湖通常包含各种数据集。这些数据集可以是结构化的,也可以是非结构化的,并且可以包含原始数据和未处理的数据。

联邦机构并不是唯一从轻松访问数据中受益的机构。金融业监管局 (FINRA) 是一家由国会授权保护美国投资者的独立非营利组织,它已将其约 75% 的业务迁移到 AWS。此举使 FINRA 能够创建一个灵活的平台,以适应不断变化的市场动态,并为其分析师提供工具以交互方式查询多 PB 数据集。该组织估计,通过使用 AWS 而不是物理数据中心基础设施,每年将节省高达 2000 万美元。

“一旦您拥有了云计算环境,您只需单击一下即可运行新的分析,”Snively 说道。“您可以从 AWS Marketplace 或托管服务中进行选择,并快速试用多种工具。这些服务正在改变机构运行分析的方式。”
Post Reply