模仿学习，或通过模仿来学习，正逐渐成为应用人工智能的中心范式之一，特别是在机器人和自主系统领域。与基于探索或通过试错进行优化的传统方法不同，它基于一个简单的想法：通过观察学习。
定义
在机器学习领域，模仿学习包括训练模型以基于演示重现专家的行为。
具体来说，该算法根据人类或已经高效的系统提供的示例，学习将给定的环境状态与操作相关联的决策函数。
换句话说，这不是一个通过探索发现最优解的问题，而是一个 复制被认为有效的现有行为。
该操作基于三步逻辑。
首先，专家在给定环境中执行任务，例如用机械臂操纵物体或驾驶车辆。每次交互都以结构化数据的形式记录，通常是状态/动作对。
然后，使用该数据通过监督方法训练模型。该算法学习根据给定状态预测正确的行动，从而最大限度地减少与专家决策的偏差。
最后，一旦部署，系统就会自动重现这种行为，无需人工干预。
两种主要方法
模仿学习实际上涵盖了多种方法，其中两种方法目前占主导地位。
第一个，叫做 行为克隆，包括直接将问题视为监督学习任务。该模型学习模仿观察到的行为，而不试图理解潜在的目标。这种方法实施起来很简单，但一旦系统遇到与训练中所见稍有不同的情况，它就会变得脆弱。
第二个更高级的是反向强化学习。在这里，目标不再仅仅是模仿，而是推断指导专家决策的隐含奖励函数。这种方法可以实现更好的泛化，但代价是算法和计算复杂度更高。
强化学习的替代方案
模仿学习与强化学习的区别在于其学习逻辑。
强化学习依赖于奖励函数的探索和优化，通常以数百万次迭代为代价，而模仿学习使得 大幅降低初期学习成本 通过利用人类经验。
在实践中，这两种方法很少出现对立。它们越来越多地结合在一起：模仿学习用于快速初始化行为，而强化学习则改进这种行为以实现最佳性能。
工业用例
模仿学习的应用集中在忠实再现手势或决定至关重要的环境中。
在工业机器人中，它允许快速教授复杂的任务（物体操作、组装、拾取），而无需显式编程。在自动驾驶汽车中，它用于重现人类驾驶行为。在医疗保健领域，它可用于辅助或训练手术系统。
更广泛地说，在人类专业知识难以形式化但易于展示的所有情况下，它都是至关重要的。
限制和挑战
尽管模仿学习有其优点，但它也有一些结构上的局限性。
它高度依赖于示范数据的质量和多样性。在过于同质的案例上训练的模型将难以处理新情况。这种现象被称为 分布转移，仍然是一个主要障碍。
此外，数据收集的成本可能很高，尤其是当它需要人类专家时。最后，该模型可以重现演示中存在的偏差或错误，但没有内在的能力来纠正它们。
策略性阅读
模仿学习标志着人工智能设计方式的重要演变。
它使人工智能系统更接近基于观察和再现的更人性化的学习模型。这种方法减少了对漫长而昂贵的探索阶段的依赖，使其成为人工智能快速工业化的关键杠杆。
特别是在机器人领域，它正在参与向更灵活的系统的转变，能够学习新任务而无需大量重新编程。因此，它构成了结合基础模型、模拟和强化学习的混合架构的重要组成部分。
随着演示数据量的增加，特别是通过视频捕获和嵌入式传感器，模仿学习可能成为训练大规模自主系统的事实上的标准。
