苹果公司的人工智能研究人员表示，在将大型语言模型（LLMs）部署到 iPhone 和其他内存有限的苹果设备上取得了关键性突破。他们发明了一种创新的闪存利用技术，可有效应对内存限制问题。

LLMs 与内存限制

像 ChatGPT 和 Claude 这样基于 LLM 的聊天机器人，通常需要大量的数据和内存才能运行。对于内存容量有限的设备如 iPhone，这是一个挑战。苹果研究人员开发了一种新技术，利用闪存（即存储您的应用和照片的内存）来存储 AI 模型的数据。

闪存中的 AI

在名为「LLM in a flash: Efficient Large Language Model Inference with Limited Memory」的新研究论文中，作者指出移动设备中的闪存比传统用于运行 LLMs 的 RAM 更为丰富。他们的方法巧妙地绕过了这一限制，使用了两种关键技术来最小化数据传输并最大化闪存吞吐量：

- 窗口化技术： 这可以看作是一种回收方法。AI 模型不是每次都加载新数据，而是重用它已经处理的一些数据。这减少了对持续内存提取的需求，使过程更快更顺畅。

- 行列捆绑技术： 这种技术类似于一次阅读更大的数据块，而不是一次一个单词。通过更高效地分组数据，可以更快地从闪存中读取数据，加快 AI 理解和生成语言的能力。

这些方法的结合使 AI 模型能够运行的规模达到 iPhone 可用内存的两倍。据论文称，这将使标准处理器（CPU）上的速度提高 4-5 倍，图形处理器（GPU）上的速度提高令人印象深刻的 20-25 倍。作者写道：「这一突破对于在资源有限的环境中部署先进的 LLMs 至关重要，从而扩大了它们的应用范围和可及性。」

iPhone 上的更快 AI

这一 AI 效率的突破为未来的 iPhone 开启了新的可能性，如更先进的 Siri 功能、实时语言翻译和在摄影和增强现实中的复杂 AI 驱动功能。此技术还为 iPhone 上运行复杂的 AI 助手和聊天机器人铺平了道路，据悉苹果公司已在研究这方面的应用。

苹果公司正在开发自己的生成式 AI 模型「Ajax」，据称在设计上能与 OpenAI 的 GPT-3 和 GPT-4 相媲美。Ajax 运行在 2000 亿参数上，表明其在语言理解和生成方面的高度复杂性和能力。内部称为「Apple GPT」的 Ajax 旨在统一苹果公司的机器学习开发，表明了将 AI 更深入地整合到苹果生态系统中的更广泛战略。

据最新报道，Ajax 被认为比早期的 ChatGPT 3.5 更有能力。然而，也有人认为，截至 2023 年 9 月，OpenAI 的新模型可能已超越了 Ajax 的能力。

根据《The Information》和分析师 Jeff Pu 的说法，苹果预计将在 2024 年晚些时候在 iPhone 和 iPad 上推出某种生成式 AI 功能，届时将发布 iOS 18。据称，苹果计划提供云端 AI 和设备上 AI 处理的结合。