CPU 算力有多缺？亚马逊传管到 EC2 要自家工程师「别浪费」
AI重点
The Information报导，亚马逊网路服务（AWS）正限缩旗下工程师使用自家虚拟伺服器租用平台EC2，5月就召集他们，要求减少对中央处理器（CPU）资源的浪费，确保AWS有足够CPU算力提供给客户。此时正值资料中心对CPU的需求大增，绘图处理器（GPU）和CPU的需求比，已从传统的八比一或四比一渐趋平衡。
EC2的执行个体（instance，虚拟伺服器）构成现代网路的很大一部分。传统上，AWS工程师可用启动自己的执行个体来进行开发，利用网路基础架构相对较低的CPU使用率，在同样的资源上运行更多虚拟机。但该公司工程师向The Information表示，他们现在需要等待数天才能取得使用权限，相较先前只需数小时。
亚马逊在EC2执行个体中部署了多种不同类型的CPU，包括超微、英特尔，以及亚马逊自研的Graviton5晶片。Graviton5是亚马逊至今最强大的CPU，使用Arm架构，类似辉达的Vera CPU和安谋自己的AGI晶片。
AI代理的兴起推动了CPU需求成长，就连像亚马逊这样的大公司都难以应付。举例来说，亚马逊上个月的一个编码代理，就耗费了该公司180万美元的词元（token）成本，比开发预算超出860%。
虽然目前大部分的AI基础设施都是围绕著推理设计，这项作业可透过GPU加速。但代理作业却比这样复杂许多，经常牵涉到对在CPU上运作的工具呼叫，和在GPU上推理的更复杂协调。也正是这一点让CPU在AI代理时代成为了注目焦点。
虽然亚马逊正设法解决内部工程师和外部客户间的CPU资源短缺问题，但据The Information报导，资源短缺主要影响的是竞价型执行个体（Spot Instances）。一名顾问向该媒体表示，已签约租借的资源并未出现短缺。
AWS发言人回应表示，「报导关于EC2的说法并不准确。做为我们日常营运的一部分，以及秉持著节俭的领导原则，我们始终致力于提升资源效率，以确保团队能最适化资源利用」。
