当前AI架构的挑战

Source: The Challenges of Current AI Architectures, February 10, 2023

我们都看到了各种预测。AI将成为我们这一代最具变革性的技术。几乎每位企业领导都认为AI对成功至关重要。热情洋溢的预测不胜枚举。但尽管存在着如此多的炒作和热情，现实却更具挑战性。埃森哲（Accenture）的一份报告显示，只有12%的AI计划成功实现了卓越的增长和业务转型，来强调这一点。那么，为什么经过多年的投资和创新，AI计划仍然不足呢？

我们将深入探讨当今AI和ML计划中存在的四种最常见的限制。

未实现的承诺

简而言之，构建和利用ML架构的过程无法与企业的发展速度相匹配。事实上，数据科学家和开发人员正在尝试在为上一代需求建立的基础设施和架构上，为下一代企业构建最强大、最复杂的应用程序。

此外，围绕数字体验构建的消费者期望和商业模式每天都在不断发展。我们的选择更加多样化，我们的参与更加动态，消费者和企业都比以往任何时候都有更多的选择。我们已经习惯了每一次数字体验都是超个性化的，并能够即时交付。这意味着企业必须通过抓住消费者机会来及时回应。我们所有人都希望从开始到结束都能够不断地与服务进行交互。用户在需要食物时立刻订购外卖。交通应该随时随地、按需提供。已经适应这些实时需求的企业是少数独特的企业，即使在今天快速变化的市场中仍然能够蓬勃发展。

AI是一种应该产生即时、实时洞察以满足所有这些消费者期望和业务需求的技术。机器对机器的通信承诺以超过人类速度的速度提取洞察，准确度超过人类能力，数据量超过即使是最大的分析团队也难以应付。但具有讽刺意味的是，它没有做到这一点。这些系统的架构方式已经自然地限制了AI能够提供的质量和影响，导致预测远远不能达到预期，或者在业务中发挥真正影响的时候已经太晚了。

人口统计ML与行为ML的比较

目前，ML/AI的一个核心限制是，它主要基于广泛的人口统计数据来预测个体行为。这种方法在无法提供实时应用和实时ML的时代是有意义的，方向性预测被认为是最佳选择。基于类似人口统计数据的广泛洞察力，可以在较长时间内满足关键绩效指标或收入要求。然而，这种旧的方法在今天显然存在局限性。

许多企业错失了根据个人意图和背景量身定制体验或互动的机会，而是基于整体人口统计数据来做出决策。或者他们可能会将单个行为误认为是某种模式的一部分。这意味着错过了在单个会话中捕获的优惠或洞察，这些优惠或洞察可能比客户的整体互动或行为模式更有价值。例如，为了实现更具有影响力的个性化体验，在线零售商需要知道顾客购买婴儿派对礼物、执行一次性交易以及顾客怀孕并进入与该零售商的新阶段之间的区别。

实时世界中的批处理

AI的影响进一步受限于其分析的数据类型。大多数AI系统都是基于批处理和历史分析构建的。数据从数据仓库、文件或一些其他来源中进行批处理收集，并创建预先聚合的数据表。然而，由于数据被缩小到最小可能的数据集，以便将数据传输到ML中，因此捕获实时洞察变得极其繁琐和复杂。

当今的市场变化异常迅速。消费者比以往任何时候都拥有更多选择，并有更多机会从准备为他们提供最佳产品、价格合理且交货速度最快的一系列供应商中获得产品和服务。这创建了一个动态环境，需要实时输入以获得最佳结果。例如，历史分析可以预测季节性库存的波动，但无法识别多次发生的不可预测的供应链干扰或成本变化（如燃油、运输和旅行成本）。实时理解数据不仅关乎保持客户的参与度，也关乎在市场条件保持不稳定的情况下保持利润率的重要性。最终，这种将数据带到ML架构中的过时过程使企业失去了实时洞察和满足今天市场需求的机会。

将数据导入ML的时间、成本和复杂性

将数据传输到ML平台进行方向预测是大多数ML系统的基本概念。即使实时数据可用，也通过与分析历史数据相同的、通常是不连贯的过程进行分析。这意味着组织将投入大量资源、时间和预算，将数据从数据仓库和数据湖迁移到专用的ML平台，以便分析关键洞察。这不仅导致了巨大的数据传输成本，而且需要迁移、分析和再次迁移所需的时间影响了我们能够多快地学习新的模式，并在关键时刻与客户采取行动。

即使团队进行了调整、取得了一致，实现了成功的结果，成功的条件通常也不再适用。这是通过一系列因素发生的，但明显的情况是数据过时，模型过时，或者例子没有被训练到所需的时刻（例如购买时刻或选择电影的时间）。所有这些都会导致时间增加、成本增加、表现不佳的模型或根本不起作用的模型。

孤立的从业者和工具

参与构建ML应用程序的任何人——数据工程师、数据科学家和开发人员——通常都在目标截然不同的孤岛中工作。通常，横跨数据、ML和应用程序堆栈的团队成员无法获得广泛的可见性或深入的了解ML项目。数据模型被建立来为现有的应用程序和用例服务，而不是可能服务于明天的ML模型。将数据传输到ML模型时，很难获得信心，除非您确信1）数据是最新的，并且将在生产中可用，2）您了解在依赖项之前进行的转换；这引入了风险，即沿途的某个人在生产环境中或将来会（即使是轻微地）更改管道定义，从而使ML模型的预测出错。

此外，根据你在工程、数据科学或开发专业化领域的位置，使用的工具栈会有很大差异。如果一个人使用SCALA来构建管道，另一个人使用流服务来驱动他们的应用程序，而另一个人则使用某个不同的服务来构建训练集，那么混乱就会发生，因为选择这些工具通常存在权衡，并且它们通常指向不同的数据源和汇聚点。进行必要的更正可能会导致几个月、甚至几个季度或数年的延迟，不仅仅是一次，而是每次这个过程重复时都会有延迟。

将你的AI/ML带到数据中去

这些问题无处不在，给所有相关人员带来了混乱，也给指望AI计划影响的高管带来了挫败感。这些复合问题导致了延迟，并且尽管投资了数百万美元，ML/AI项目仅取得了极小的影响，远远达不到传递价值的承诺和愿景，或者它们只是被认为是深奥的，并被放逐到AI项目的墓地。