在今天，Iterative Lean Startup原则得到了很好的理解，最小可行性产品（MVP）是机构风险投资的先决条件，但很少有创业公司和投资者将这些原则扩展到他们的数据和AI战略。他们认为，验证他们对数据和AI的假设，可以在未来的时间里与他们稍后招募的人员一起完成。

但最好的AI初创公司尽可能早地发现他们是否正在收集正确的数据，是否有他们计划建立的AI模型的市场，以及数据是否被正确收集。因此，我在模型达到早期客户所需的最低算法性能（MAP）之前，你必须尝试验证数据和机器学习策略。如果没有这种验证，你可能会发现你花费这么多时间和金钱建立的模型没有你想象的那么有价值。

那么如何验证算法呢？可以使用三个关键测试：

• 测试数据的可预测性


• 测试模型对于市场的适合度


• 测试数据和模型适用期限

测试可预测性

创业公司必须确保他们的人工智能模型的数据能够预测人工智能的目标输出，而不仅仅是与之相关的数据。

由于人体非常复杂，AI驱动的诊断工具是一种特别容易将相关信号与预测信号相混淆的应用。通过应用AI跟踪每周扫描的细微变化，许多公司在患者的结果方面取得了令人难以置信的收益。潜在的混杂因素可能是正在接受这些每周扫描的病人也会更有规律地记录他们的生命体征，这也可能为疾病的进展提供一些微妙的线索。所有这些附加数据都用在算法中。AI是否可以在这些侵入性较小的生命体征上得到有效的训练，从而降低患者的成本和压力？

为了从真正的预测输入中梳理出混杂的相关性，必须尽早进行实验，以便在有和没有输入的情况下比较AI模型的性能。在极端情况下，围绕相关关系构建的AI系统可能更昂贵，并且可能比围绕预测输入建立的AI系统获得更低的利润。此测试还使您能够确定是否正在收集AI所需的完整数据集。

测试模型对于市场的适合度

你应该从产品市场的契合度来测试模型市场的契合度。一些创业公司可能会先用一种用于捕获训练数据的“pre-AI”解决方案进入市场。尽管你可能已经建立了产品市场适合于这个pre-AI产品，你也不能假设用这个解决方案的用户也会对AI模型感兴趣。来自模型市场fit测试的见解将指导你如何包装AI模型，并建立正确的团队将该模型推向市场。

对模型市场拟合的测试比测试产品市场适应性更困难，因为用户界面很容易原型化，但AI模型很难模拟。为了回答模型市场拟合问题，你可以使用“幕后人员”来模拟AI模型，以评估最终用户对自动化的响应。虚拟调度助手启动X.ai使用这种方法来训练其调度器机器人，并通过观察由人类训练员进行的数万次交互来找到适当的交互模式和音调。这种方法可能不适用于内容或数据可能包含敏感或受法律保护的信息的应用程序，例如医生与其患者或律师及其客户之间的交互。

为了测试客户是否愿意为AI模型付费，你可以将数据科学家奉献给现有客户的顾问，并为他们提供个性化的，数据驱动的规范性见解，以展示AI的投资回报率。我们已经看到许多初创公司在医疗保健，供应链和物流领域提供这项服务，以说服客户投入时间和人力来建立与客户技术堆栈的集成。

测试数据和模型适用期限

初创公司必须尽早了解他们的数据集和模型过时的速度，以便保持适当的数据收集和模型更新速率。由于上下文漂移，数据和模型变得陈旧，当AI模型试图预测的目标变量随时间变化时发生。

上下文信息可以帮助解释上下文漂移的原因和速率，以及帮助校准漂移的数据集。例如，零售购买可能与季节有关。AI模型可能会发现冬季羊毛帽的销量增加，并且在4月份未能成功推荐给客户。如果在收集数据时没有记录，那么关键的上下文信息就无法恢复。

为了衡量上下文漂移的速度，你可以尝试“模拟”模型并观察其在实际设置中性能下降的速度。也可以使用以下某些策略在不训练数据的情况下执行此操作：

• 在适用的情况下，使用已知框架构建基于规则的模型


• 重新设计一个模型，在一个紧密相关但独立的领域进行训练，例如使用图书推荐模型来推荐电影


• 使用机械turks模拟客户数据


• 与行业现有企业合作获取历史数据


• 在互联网上搜索公开数据

如果模拟模型快速降级，AI模型将容易受到上下文漂移的影响。在这种情况下，历史数据可能在过去的某个时间点之后没有用，因为用过时数据训练的AI模型将是不准确的。