内存,人工智能中被遗忘的重要部分:VERTICAL COMPUTE 筹集了 5700 万欧元来解决“内存墙”问题

随着生成模型的兴起,人工智能通常被描述为纯粹计算能力的竞赛。巨型基础设施、GPU 集群和新加速器的发布占据了大部分技术争论。然而,一个更谨慎的限制正在逐渐成为人工智能的主要障碍之一:记忆。

在传统的计算机架构中,处理器执行计算,而数据存储在单独的内存模块中。该模型继承了数十年的计算机工程,涉及计算单元和内存之间的数据不断移动。然而,随着人工智能模型操作量的爆炸式增长,这种运动在延迟和能源消耗方面变得越来越昂贵。

专家们现在谈论“内存墙”,这是一种结构限制,当处理器的进步超过内存技术的进步时就会显现出来。 Vertical Compute 技术总监 Sébastien Couet 解释道:“内存技术在密度和性能方面面临限制,而处理器性能却在不断提高。”他表示,人工智能工作负载所施加的数据访问要求使得“必须克服内存墙以实现下一波创新”。

这种结构性限制在现代人工智能基础设施中变得尤为明显。大型模型需要不断访问大量参数和中间数据。在当前架构中,该信息通常存储在外部存储器中,特别是高带宽存储器(HBM)中,然后再传输到负责计算的处理器。此操作涉及组件之间的不断交换,从而产生延迟、能源消耗和基础设施成本。

🚨 智能工作

  • MISTRAL – 客户经理,企业,法国 – 巴黎
  • ANTHROPIC – 初创公司合作伙伴 – 法国和南欧
  • 背景 – 人力资源总监 – 人力资源总监
  • 综合理工学院 – 国际关系主任/副主任(F/M)
  • CLAROTY — 销售开发代表
  • FRACTTAL — 客户经理(法国)
  • BRICKSAI — 创始增长经理

👉 在 DECODE MEDIA 招聘板上找到我们所有的职位

📩 您正在招聘并想加强您的雇主品牌吗?发现我们的合作伙伴优惠

随着模型变得越来越大,这种数据移动成为实际系统性能的主导因素之一。在某些情况下,移动信息比计算本身消耗更多的资源。

迈向垂直内存架构

这正是垂直计算试图解决的问题。该初创公司正在开发一种架构,该架构将存储器直接集成在计算单元上方,采用集成在芯片内的垂直结构。

目标是大幅缩短数据传输的距离。在传统架构中,它们可以在组件之间循环几毫米甚至几厘米。在垂直架构中,这些交换发生在纳米尺度。

这种接近性将限制与数据传输相关的低效率,提高内存带宽并减少能耗。该技术的设计者还讨论了在提高存储密度的同时接近快速存储器性能的可能性。

其原理基于模块化小芯片型架构,将堆叠内存结构和计算单元组合在同一组件中。这种方法可以更有效地将存储器集成到计算系统中,特别是对于嵌入式人工智能应用程序或外围计算环境。

创始人表示,这一发展有助于减少对集中式基础设施的依赖。当前的人工智能系统严重依赖数据中心,部分原因是所需内存架构的成本和复杂性。更紧凑的集成可以支持直接在设备或嵌入式系统上运行模型。

人工智能基础设施的谨慎但战略性转型

如果这种方法在工业规模上得到证实,它可能会改变人工智能系统的设计方式。多年来,大部分投资都集中在专用处理器、GPU、AI 加速器或专用架构上。

内存虽然对系统的整体性能至关重要,但通常被认为是次要组件。然而,人工智能模型的发展,其规模和数据需求迅速增加,使得这一维度变得越来越重要。

在这种背景下,旨在将内存和计算结合在一起的创新可以在下一代计算机架构中发挥结构化作用。目标不一定是取代现有处理器,而是通过减少现代人工智能的主要瓶颈之一来提高其效率。

纳米电子学研究产生的欧洲深度科技

Vertical Compute 成立于 2024 年,是欧洲研究中心imec 的子公司,imec 是专门研究纳米电子和半导体技术的世界领先机构之一。该公司开发的技术旨在将内存和计算集成到人工智能系统的垂直架构中。

该公司由谷歌前半导体项目经理 Sylvain Dubois 和研究员 Sébastien Couet 创立,后者曾在imec 领导内存技术研究项目多年。

Vertical Compute 宣布已获得 3700 万欧元的额外融资,完成首轮 2000 万欧元的融资,从而使其种子轮融资达到 5700 万欧元。该行动由投资基金 Quantonation 牵头,Flanders Future Techfund(由 PMV 管理)、Wallonie Entreprendre、Sambrinvest、Noshaq、InvestBW、Drysdale Ventures 和 Kima Ventures 参与,历史投资者 Eurazeo、XAnge、Vector Gestion、imec.xpand 和imec 也参与了融资。

这家初创公司的团队由大约 25 名员工组成,分布在比利时和法国之间,该初创公司表示,它最近完成了第一个集成垂直存储架构的测试芯片,此举旨在在更广泛的工业化阶段之前验证其技术的工业可行性。