Etched 正在打造一款只能运行一种模型的人工智能芯片

随着生成式人工智能触及越来越多行业,生产用于运行模型的芯片的公司受益颇丰。特别是 Nvidia,据估计占据了 AI 芯片市场份额的 70% 到 95%,拥有巨大的影响力。从 Meta 到 Microsoft 的云服务提供商,纷纷斥资数十亿美元购买 Nvidia 的 GPU,担心在生成式人工智能领域落后。

生成式人工智能供应商对现状并不满意,这是可以理解的。他们的成功很大程度上取决于主要芯片生产商的决定。因此,他们与机会主义的风险投资者一起,正在寻找有望挑战人工智能芯片老大的有前途的新兴公司。

Etched 是众多寻求在行业中立足的替代芯片公司之一,但也是最引人注目的之一。成立仅两年,Etched 由两名哈佛辍学生 Gavin Uberti(前 OctoML 和前 Xnor.ai)和 Chris Zhu 创立,他们与 Robert Wachen 和前 Cypress Semiconductor 首席技术官 Mark Ross 一起致力于创造一款只能运行 AI 模型的芯片。

这并不罕见。许多初创公司和科技巨头已经或正在开发专门运行 AI 模型的芯片,也被称为推理芯片。Meta 有 MTIA,亚马逊有 Graviton 和 Inferentia 等。但 Etched 的芯片独特之处在于它们只能运行一种模型:变压器。

变压器是由谷歌研究人员团队在 2017 年提出的,迄今为止已成为主导的生成式人工智能模型架构。

变压器支撑着 OpenAI 的视频生成模型 Sora。它们也是像 Anthropic 的 Claude 和谷歌的 Gemini 这样的文本生成模型的核心。它们还驱动着最新版本的 Stable Diffusion 等艺术生成器。

Etched 的首席执行官 Uberti 在接受 TechCrunch 采访时表示:“在 2022 年,我们押注变压器将主导世界,我们已经达到了 AI 发展的一个临界点,在这个点上,专门用于特定任务的芯片将比通用 GPU 表现更好是不可避免的,而世界上的技术决策人员知道这一点。”

Etched 的芯片 Sohu 是一款 ASIC(专用集成电路)-一款专门针对特定应用的芯片,此处用于运行变压器。Uberti 声称,使用 TSMC 的 4 纳米工艺制造的 Sohu 在运行文本、图像和视频变压器时,可以提供比 GPU 和其他通用 AI 芯片更好的推理性能,并消耗更少的能量。

“Sohu 在运行文本、图像和视频变压器时,比 Nvidia 下一代 Blackwell GB200 GPU 快一个数量级,成本更低,”Uberti 说。“一个 Sohu 服务器可以取代 160 个 H100 GPU...对于需要专用芯片的企业领导人来说,Sohu 将是一个更为负担得起、高效且环境友好的选择。”

Sohu 是如何实现这一切的?有几种方式,但最明显和直观的方式是简化的推理硬件和软件流水线。因为 Sohu 不运行非变压器模型,Etched 团队可以摆脱与变压器不相关的硬件组件,同时减少传统用于部署和运行非变压器的软件开销。

Etched 比较运行 Meta 的开放模型 Llama 70B 的硬件性能的图表。
图片来源:Etched

Etched 正值生成式人工智能基础设施竞争的转折点。除成本担忧外,必须在规模上运行模型所需的 GPU 和其他硬件组件对电力的需求过高。

高盛预测,到 2030 年,人工智能有望推动数据中心用电需求增加 160%,导致温室气体排放显著增加。与此同时,加州大学河滨分校的研究人员估计,到 2027 年,全球人工智能使用可能导致数据中心消耗 1.1 到 1.7 万亿加仑的淡水,影响当地资源(许多数据中心使用水来冷却服务器)。

Uberti 乐观地——或者说是夸张地——将 Sohu 描述为解决行业能源消耗问题的解决方案。

“简而言之,未来的客户将不得不转向 Sohu,”Uberti 说。“企业为了构建他们正在尝试构建的人工智能产品,速度和成本是至关重要的,他们愿意押注 Etched。”

但是,假设公司在未来几个月成功将 Sohu 推向市场,Etched 能否成功,当有这么多其他公司紧随其后时呢?

虽然 Etched 目前没有直接竞争对手,但人工智能芯片初创公司 Perceive 最近展示了一款拥有变压器硬件加速的处理器。Groq 也在其 ASIC 上投入了大量资源进行变压器特定优化。

除竞争外,如果变压器有一天不再受青睐会怎么样?Uberti 表示,那种情况下,Etched 将做出明显的选择:设计一款新芯片。这无可厚非。但考虑到要将 Sohu 推向成功花费的时间如此之长,这是一个相当极端的备用方案。

这些担忧并没有阻止投资者大量投资 Etched。

今天,Etched 宣布,他们已完成一轮 1.2 亿美元的 A 轮融资,由 Primary Venture Partners 和 Positive Sum Ventures 共同领投。这轮融资将 Etched 的总融资额提高到 1.2536 亿美元,重量级天使投资者包括 Peter Thiel(Uberti、Zhu 和 Wachen 是 Thiel Fellowship 校友)、GitHub CEO Thomas Dohmke、Cruise(和 Bot Company)联合创始人 Kyle Vogt 和 Quora 联合创始人 Charlie Cheever 参与。

这些投资者可能相信 Etched 有一定的机会成功扩大业务销售服务器。也许他们确实有——Uberti 表示,迄今为止已有未透露姓名的客户预订了“数千万美元”的硬件。即将推出的 Sohu Developer Cloud,可以让客户通过在线交互式游乐场预览 Sohu,有助于推动额外的销售,Uberti 暗示。

然而,目前还为时过早,看不出这足以将 Etched 及其 35 人团队带入公司创始人们设想的未来。在最好的时机中,人工智能芯片领域可以是无情的——看看 AI 芯片初创公司 Mythic 和 Graphcore 的备受关注的差点失败,以及相关方面在 2023 年资金投入的急剧下降。

尽管如此,Uberti 的销售说辞仍然很有力:“视频生成、音频到音频的形式、机器人和其他未来的人工智能应用将只能依靠像 Sohu 这样的更快芯片。整个人工智能技术的未来将取决于基础设施能否扩展。”