让数据分析像生成式 AI 一样具有变革性的秘诀

人工智能的挑战在快速发展的过程中更加复杂：数据准备、大型数据集和数据质量的需求、长时间运行的查询、批处理等的时间消耗。在本次 VB 聚焦中，NVIDIA 首席产品架构师 William Benton 和其他人解释了您的组织如何简化当今的复杂情况。

人工智能的变革力量飙升，受到一个非常接地气的挑战的阻碍：不仅仅是分析过程的复杂性，还有从运行查询到访问你所追求的洞察力所花费的无穷无尽的时间。

“每个人都使用过内置延迟的仪表板，”SQream 首席营收官 Deborah Leff 说。“但是你会遇到一些非常复杂的过程，现在你要等待数小时，有时是几天或几周才能完成某件事并获得特定的见解。

在最近的 VB Spotlight 活动中，Leff 与 NVIDIA 首席产品架构师 William Benton 和数据科学家兼记者 Tianhui “Michael” Li 一起讨论了任何规模的组织如何克服利用企业级数据分析功能的常见障碍，以及为什么投资当今强大的 GPU 对于提高速度至关重要。 分析流程的效率和能力，并将导致企业如何进行数据驱动决策的范式转变。

企业分析的加速
虽然生成式人工智能引起了极大的兴奋，并且它已经对组织产生了强大的影响，但在同一时间段内，企业级分析的发展并没有那么大。

“很多人仍然在用相同的架构来解决分析问题，”Benton 说。“数据库已经有很多渐进式的改进，但我们还没有看到这种革命性的改进，它对日常从业者、分析师和数据科学家的影响程度与我们在人工智能中看到的一些感知问题相同，或者至少他们没有以同样的方式捕捉到大众的想象力。

Leff 说，部分挑战在于难以置信的时间沉没，而这些问题的解决方案到目前为止一直令人望而却步。

她说，在云中添加更多的硬件和计算资源既昂贵又增加了复杂性。大脑（CPU）和体力（GPU）的结合是必需的。

“从 10 或 20 年前的超级计算角度来看，您今天可以买到 GPU 是难以置信的，”Benton 说。“如果你考虑一下超级计算机，它们被用于气候建模、物理模拟——重大的科学问题。不是每个人都有大的科学问题。但是，同样大量的计算能力可以用于其他用例。

组织不仅可以调整查询以缩短几分钟，还可以缩短整个分析过程从头到尾所需的时间，从而提高网络、数据摄取、查询和呈现的速度。

“像SQream这样的技术正在利用GPU和CPU来改变分析的处理方式，现在正在发生的事情是，它可以利用GPU带来的巨大蛮力和力量，并将其应用于传统分析。影响是一个数量级。

加速数据科学生态系统
非结构化和不受治理的数据湖，通常围绕Hadoop生态系统构建，已成为传统数据仓库的替代品。它们非常灵活，可以存储大量半结构化和非结构化数据，但在模型运行之前，它们需要大量的准备工作。为了应对这一挑战，SQream 利用 GPU 的强大功能和高吞吐量功能来加速整个工作负载（从数据准备到洞察）的数据处理。

“GPU 的强大功能使他们能够分析任意数量的数据，”Leff 说。“我觉得我们太有条件了——我们知道我们的系统无法处理无限的数据。如果我想看一千列，我不能只拿十亿行。我知道我必须限制它。我必须对它进行采样和总结。我必须做各种各样的事情才能让它达到可行的尺寸。由于 GPU，您可以完全解锁它。

RAPIDS 是 Nvidia 的开源 GPU 加速数据科学和 AI 库套件，它还通过采用现在可能实现的大规模并行性并允许组织将其应用于加速 Python 和 SQL 数据科学生态系统，在熟悉的界面下增加巨大的功能，从而将跨数据管道的性能大规模提高几个数量级。

解锁新的洞察力水平
但这不仅仅是使流程的这些个别步骤更快，Benton补充道。

“是什么让流程变慢？这是跨越组织边界的沟通。甚至是跨人们办公桌的交流。这是反馈循环的延迟和速度，“他说。“这就是加速分析的激动人心的好处。如果我们研究人们如何与大型机交互，我们可以通过减少计算机向人类提供响应时的延迟和人类向计算机提供指令时的延迟来显着提高性能。通过优化其两方面，我们获得了超线性的好处。

进入亚秒级响应速度意味着立即返回答案，数据科学家保持心流状态，尽可能保持创造力和生产力。如果你把同样的概念应用到组织的其他部门，其中大量的业务领导者每天都在做出决策，以增加收入、降低成本和规避风险，那么影响是深远的。

Leff 说，以 CPU 为大脑，以 GPU 为原始动力，组织能够实现其数据的所有功能——以前过于复杂、耗时过多的查询突然成为可能，从那里开始，一切皆有可能。

“对我来说，这是加速的民主化，它改变了游戏规则，”她说。“人们被他们所知道的东西所限制。即使在业务方面，试图做出决定的业务领导者——如果架构团队说，是的，你需要八个小时才能获得这些信息，我们接受这一点。尽管实际上可能需要八分钟。

Benton 说：“我们陷入了这种模式，进行了很多业务分析，他们说，我知道什么是可能的，因为我拥有我已经使用了 15 或 20 年的相同数据库。“我们围绕这些假设设计了我们的应用程序，这些假设不再正确，因为像SQream这样的技术正在使访问民主化。我们需要把标准定得更高一点。我们需要说，嘿，我曾经认为这是不可能的，因为这个查询在两周后没有完成。现在它在半小时内完成。我应该如何处理我的业务？我应该做出哪些我以前无法做出的决定？