Copilot已经融合进了微软的生态系统中，以至于它现在拥有一个专为其设计的键盘新按键。目前，Copilot的许多功能看似能够在没有联网的情况下运作，这些处理活动直接在用户的笔记本电脑上完成，对于那些使用最新的搭载英特尔AI技术的电脑用户来说，情况并非如此。
在举行的最近一届英特尔AI峰会上，这家芯片巨头表示，现有的所有英特尔Core Ultra芯片均不达到在离线环境下以及设备上运行Copilot所需的基本规格。
这个问题归根到每秒万亿次运算（TOPS）上，这是衡量NPU执行AI任务速度的指标，其数值越大，性能越强。而当前的英特尔Core Ultra芯片的TOPS只在10-15 TOPS之间，远远达不到至少需要40 TOPS的标准。
目前，仅有Qualcomm Snapdragon X Elite处理器，拥有45 TOPS的性能，几乎是唯一能满足此能力需求并常用于运行Windows的处理器。英特尔表示，其下一代Core Ultra芯片将符合这一最低要求。
目前，Copilot强大的生成式AI功能主要在云端进行处理，数据会发送至微软的服务器并得到响应。但长期目标是将至少一部分处理能力转移到设备本身上来。出于离线访问和成本考虑，有多个理由促使Copilot等AI工具在本地运行，这样昂贵的处理活动由设备而非云端承担。
问题在于，如何保持足够的计算能力来运行Copilot的某些功能，同时不让用户感觉到设备变慢或电池迅速耗尽。英特尔客户计算组副总裁Todd Lewellen表示，将大量的处理任务转移至NPU而非GPU可以在很大程度上解决电池寿命问题。这也是微软坚持Copilot在NPU上运行的原因。
虽然今天我能在我的M2 MacBook Air上安装像Meta的Llama 2这样的大型语言模型，但当它处理时我能明显感觉到，因为我的整个设备会冻结直到处理完成。对于Copilot这样的主流应用程序或Siri的未来版本来说，这是不可接受的。
TOPS是一个芯片每秒可以处理的万亿次操作的数量。它具体衡量了处理器每秒可以执行的算术操作数，对于AI和机器学习任务来说，这是一个非常有用的性能衡量指标。
尽管通常会为芯片整体提供TOPS数值，包括CPU和NPU，但英特尔表示，更高的NPU值对于处理LLM任务的整体性能更为重要。
Lewellen向Tom’s Hardware表示，达到40 TOPS的NPU将“让我们能在本地处理更多任务。”尽管如此，不应期望能在你的设备上运行Copilot的所有功能，主要是大部分关键功能。某些额外功能，如图像生成和编辑可能仍需联网和云服务支持。
“总体趋势是尽可能地将AI过程转移到终端设备上，”英特尔客户计算组副总裁David Feng在MWC上对Tom’s Guide表示。
目前，已经有很多AI应用能够在本地运行，包括图像和视频编辑器，但它们主要依赖GPU。英特尔正在与开发者合作，以促进对NPU的更有效利用，不过这可能要等到下一代芯片推出后才会实现。
高通已在Windows AI领域取得了领先的优势，它的Snapdragon X Elite芯片拥有45 TOPS的NPU性能，并能运行Windows系统。
当Qualcomm的CFO Dom McGuire在首次展示这些芯片时，就预测了英特尔芯片低TOPS计数将成为问题。他在巴塞罗那的MWC上对Tom’s Guide表示，仅有少数TOPS实际上能做的事情非常有限。“我们能够在我们的不同处理器单元中支持超过70+ TOPS的AI 性能，”他解释道。
他还提到，英特尔AI主机大约只能处理10 TOPS。“从AI用户体验来看，10 TOPS实际上能做的非常有限。”
即便苹果的最高端A17 Pro移动芯片和M2 Ultra电脑芯片也只能达到34 TOPS，但由于苹果的操作系统与硬件之间整合，苹果能够更有效地利用可用的处理能力，在整个系统中分配负载。
如今，你已能在笔记本电脑上运行AI。在大多数情况下，这会利用GPU，并可能对电池续航或整体系统性能产生影响。在接下来的一两年内，第二代AI电脑主机和新软件的推出，本地使用AI将变得普遍。
未来几年，随着企业寻求利用NPU的能力进行复杂计算和AI处理，而不对电池续航产生重大影响，TOPS 的概念将越来越多地被讨论和重视。
