随着人工智能竞赛的重点是训练模型，并且随着模型变得越来越强大，另一个问题出现了，即它们的执行。
英国初创公司 Fractile 正是定位在这一关键层面，该公司宣布融资 2.2 亿美元（约合 1.87 亿欧元）。该业务由 Accel、Facility Funds 和 Founders Fund 牵头，Conviction、Felicis、8VC、Gigascale、O1A 和 Buckley Ventures 参与。
该初创公司成立于 2022 年，开发旨在加速前沿模型推理的硬件架构。换句话说，模型实际产生结果的阶段。长期以来，这一学科一直处于训练的次要地位，但随着推理模型和未来自主代理的出现，它已成为中心学科。
Fractile 的论文基于一个简单的想法：最先进的模型很快将不再受到其理论能力的限制，而是受到执行推理链所需的时间的限制。
该初创公司的一位代表解释道：“我们打赌，最先进的人工智能系统在产生有用结果所需的时间内，其影响最终将受到限制。” “真正释放这一潜在价值的唯一方法是从根本上重新发明前沿模型运行的硬件。”
这种发展正在逐渐改变该行业的经济。对人工智能模型的每个请求都会消耗计算资源。模型越复杂，推理成本就增加得越多。新的推理系统现在会生成很长的处理序列，有时涉及数千万个标记。
Fractile 估计，一些模型已经产生了多达 1 亿个代币来解决复杂的问题。在当前架构上，执行速度接近每秒 40 个令牌，这样的处理可能需要近一个月的连续计算。
对于公司来说，这种限制远远超出了简单的绩效问题。 “推理既是AI行业的收入驱动因素，也是限制其扩张的主要因素”
Fractile 与 DeepMind 为 AlphaGo 开发的系统进行了类比。该系统不仅仅基于产生即时响应的神经网络，而是基于一系列推论，允许在每个决策之前探索不同的场景。
据这家英国初创公司称，主要语言模型现在正在朝这个方向发展。该公司解释说：“复杂的智力工作涉及许多连续的步骤，每个步骤都依赖于前一个步骤。”该公司将推理模型视为迈向能够维护长且结构化分析链的系统的第一步。
Fractile 发现的主要技术瓶颈涉及内存带宽。该公司认为，当前架构的发展速度不够快，无法满足与长上下文和推理模型相关的需求增长。
该公司指出：“为了将本月的计算压缩为一天，我们需要每秒处理约 1,200 个代币，同时管理在很长的上下文中运行的大型模型的复杂性和容量限制。”
为了解决这个问题，Fractile 致力于整个技术链：微架构、系统设计、制造工艺和硬件优化。这种垂直方法使公司更接近 Cerebras Systems 或 Groq 等公司。
这场推理之战已成为人工智能领域的主要工业战线之一。一些团体正在寻求减少对 NVIDIA 主导的传统 GPU 架构的依赖。 AMD、谷歌、亚马逊网络服务和英特尔正在加速对人工智能加速器的投资，而 SambaNova Systems、Etched、Tenstorrent 或 d-Matrix 等初创公司正在寻求为与推理和人工智能代理相关的工作负载开发专门的架构。
欧洲也在努力保持在这一战略基础设施层面的存在。在法国，SiPearl 开发适用于欧洲超级计算机的处理器，而 Kalray 则致力于开发适应海量数据流和人工智能用途的并行处理架构。 Scaleway 和 Mistral AI 也参与了欧洲计算和推理基础设施的建设。在英国，尽管 NVIDIA 面临商业困难，Graphcore 仍然是该领域的主要行业先例之一。
然而，Fractile 认为，这个问题超出了生成式人工智能当前的使用范围。该公司表示：“当今突破界限的工作负载已经具有变革性。超出这一界限的工作负载将重新定义整个经济。”
该公司目前正在伦敦、布里斯托尔、旧金山和台北进行招聘。
