急缺！高校告急，李飞飞辛顿求救
智东西
编译|陈骏达
编辑|Panken
智东西7月18日消息，据外媒报道，由于AI算力集群价格高企与大企业订单挤兑，许多美国高校正面临算力的严重短缺，这导致了高校AI研究的滞后与AI研究人才的流失。
高校的算力荒由来已久，连顶级高校和学术大牛们也被这一问题困扰。今年5月，斯坦福大学教授李飞飞称学术界正在面临AI计算资源的严重短缺，斯坦福大学的NLP实验室只有64块GPU（英伟达A100）。图灵奖得主杰弗里·辛顿（GeofferyHinton）更是在学生求助时直言：“我不知道这个问题除了求政府之外还有什么办法。”
与之产生鲜明对比的是，Facebook母公司Meta预计将在2024年底拥有算力相当于60万块英伟达H100的庞大算力集群，几乎是斯坦福NLP实验室集群的10000倍。
但斯坦福大学NLP实验室的这64块GPU，在不少其它高校的学生看来已是天方夜谭了。实际上除了像普林斯顿大学、德国亚琛工业大学等少数顶尖院校外，不少高校甚至连1块英伟达A100GPU也没有。
在Reddit论坛上的一则相关讨论中，有北美高校博士生反映小型高校只能获得多年前英伟达发布的V100GPU。而欧洲和亚洲的高校情况则更为严峻，有不少高校只能使用英伟达的消费级显卡做AI研究。即便这样，算力也极为短缺，有些学生必须自费购买显卡或者从英伟达、亚马逊云服务（AWS）等处申请算力补贴。
不少高校也在努力改变现状，比如通过校际合作建立共享计算集群，或是转而从事其它对算力要求更低的AI研究方向。
一、算力短缺人才流失，高校的GPU荒有多严重？
其实，在过去的很长一段时间里，高校一直处在AI研究的最前沿，有不少突破性的进展都是由高校的研究人员做出的。例如，2015年，斯坦福大学的博士后雅沙·索尔·迪克斯坦（JaschaSohl-Dickstein）便发明了全世界第一个扩散模型，这成为后续不少图片和视频生成模型的基础。
虽然高校的基础研究对于技术创新浪潮至关重要，但近期的生成式AI研究一直由私营公司主导。这主要是因为他们能够获得构建和训练类似ChatGPT和Gemini这样的大模型所需的算力和数据。
生成式AI研究是十分昂贵的。OpenAI首席执行官萨姆·阿尔特曼（SamAltman）曾估计，训练GPT-4的成本约为1亿美元。而Meta首席执行官马克·扎克伯格（MarkZuckerberg）曾在2024年初宣布计划购买35万块英伟达H100GPU，将Meta的算力扩展到相当于60万块英伟达H100GPU的水平。按照H100近4万美元的售价来算，这将是一笔百亿美元量级的大订单。
目前，全球没有任何高校能负担得起这种量级的AI算力基础设施。普林斯顿大学作为CS强校，拥有美国高校中最大的几个单一AI算力集群之一，急缺！高校告急，李飞飞辛顿求救但这一集群也仅有300块英伟达H100GPU，还是今年3月才正式引入的。
普林斯顿大学语言与智能中心主任桑吉夫·阿罗拉（SanjeevArora）在谈及这一问题时说道，“如果你没有算力，就没办法开展大规模研究，这样你连参与对话的资格都没有”。
在Reddit论坛上的一则相关讨论中，一位来自美国排名前5的机器学习实验室的博士生称，他们迄今为止连1块英伟达H100都没有。
▲来自美国排名前5的机器学习实验室的博士生的提问（图源：Reddit）
一位来自亚洲的博士生也面临着同样的困境。他自己使用的GPU大部分都是消费级的，并且只有一两块而非集群。他的学校直到最近才拥有了一个配备8块H100的的服务器，并且只能限时访问。这位博士生说，在他有幸使用H100GPU进行训练的两周时间里，他取得的数据比之前半年收集到的数据还要多。
▲一位在亚洲从事CV研究的学生回忆自己曾使用过的一系列GPU（图源：Reddit）
还有一位学生分享道，自己的学校没办法提供任何算力上的支持。他只能通过自己的实习公司获取1000美元AWS云算力额度，如果用这些额度来跑8块H100的集群，大概只能用1天，这种量级的算力根本做不出高质量研究。他还称这是第三世界国家搞AI研究的常态。
▲一位硕士生分享自己通过实习公司获取计算额度的经历（图源：Reddit）
而欧洲高校的算力资源也不容乐观。有位在德国上学的学生分享道，自己十分幸运，因为他的学校还能提供的16块A100GPU和数十块其它型号的GPU。而在欧洲，许多大学和研究实验室基本不提供算力支持。
▲一位欧洲学生对自己拥有的计算资源感到庆幸（图源：Reddit）
另一位来自德国亚琛工业大学的学生分享，他的学校拥有超过200块英伟达H100GPU，这引得许多网友的羡慕。但这些资源是所有学院共享的，还要与外部机构共用，如果需要较长的计算时间，需要特别申请。
▲德国亚琛工业大学学生分享学校算力情况（图源：Reddit）
来自产业界的人士对高校的GPU短缺情况感到意外。一名业界人士称，自己在一家主要的云计算提供商工作，日常经常接触H100GPU，为其开发和修复软件。还有另一位业界人士称，H100等需求量较大的尖端GPU在添加到数据中心之前，通常就被大企业客户大量预订了，因此H100对大多数研究人员来说是“罕见的”。
▲产业界人士对高校GPU短缺感到意外（图源：Reddit）
在计算资源不足的情况下，进行长时间的训练是极为奢侈的。高校的AI算力集群往往需要提前几天甚至数周申请，即便是用上了，使用时长也有限制。许多较大的训练任务很难在一个使用周期内完成，研究人员还必须花额外的精力构建checkpoint和恢复代码。
计算资源的短缺也带来了高校人才流失的问题，那些有志于做生成式AI研究的学生转向了大公司。因为大型科技公司普遍拥有比高校多上成百上千倍的算力，这对AI人才来说极具吸引力。
二、建立算力联盟、转变研究方向，高校既不甘也不能落后
面临着AI研究落后和AI人才流失的危机，不少高校正在争取额外的算力，并将研究重点转向非算力密集型的AI研究领域。
哥伦比亚大学机械工程系主任霍德·利普森（HodLipson）称：“学术机构正在争先恐后地获得算力。”他还强调，虽然工业界和政府在AI研究中的参与很重要，但为了平衡这两股力量，学术界、开源开发者等其它人士也应该对这项技术的发展有发言权。
为缓解高校的算力紧缺问题，不少高校让政府参与到了算力集群的建设过程中。2024年初，包括哥伦比亚大学、康奈尔大学、纽约大学和伦斯勒理工学院在内的7所大学和科研机构，联合纽约州政府与慈善机构创建了一个名为EmpireAI的算力联盟。
▲EmpireAI的联盟成员（图源：EmpireAI官网）
这一算力联盟筹集了近4亿美元的资金。其中的2.75亿美元来自政府，剩余资金则来自参与联盟的7所高校和研究机构。他们将利用这笔资金建立一个先进的AI计算中心，而联盟成员间可以共享这些计算资源，同时也有效地分摊了持有成本。
谈及建立这一联盟的理由，纽约州州长办公室称，目前AI算力资源越来越集中在大型科技公司手中，他们对AI开发生态系统有巨大的控制权。因此，研究人员、公益组织和小公司被抛在了后面，这对AI安全和整个社会产生了巨大影响。
学术界和产业界也在积极开展合作，这在硅谷、西雅图和奥斯汀等美国的科技中心城市已经比较常见了。华盛顿大学计算机科学与工程学院副院长丹·格罗斯曼称，他们有一些项目允许学术研究人员也能在工业界工作。学术人员能获得更好的资源，而大学也还可以留住这些人才。
其实，有不少具有重要意义的AI研究对算力的要求并不高，比如AI可解释性研究、AI计划和推理能力研究等。在算力限制下，大学研究人员开始做更有针对性的研究，确保学界不会完全被业界超越。
康奈尔大学计算与信息科学学院院长卡维塔·巴拉（KavitaBala）称，高校可以减少对构建和训练大语言模型的投入，而更多地关注开发基于大语言模型的应用。这样的应用仍然可以是最前沿的，在独特的应用领域发挥巨大作用。
麻省理工学院教授阿尔曼多·索拉尔·莱萨马（ArmandoSolar-Lezama）的工作重点是利用AI进行代码开发，他认为从头开始构建大模型在学术界根本不可行。学生和研究人员可以专注于开发应用程序，甚至创建可用于训练大语言模型的合成数据。
索拉尔·莱萨马称自己学院的教授们也主动出资购买服务器和芯片，但资金并非唯一的问题。即便有资金，获得顶级的GPU也是十分困难的。
结语：高校AI算力荒持续，多方合作或有破局希望
在目前大型科技企业主导AI研究的现状下，高校的AI研究是对这些研究的有效补充。高校的研究者不会像企业内部的研究者那样，受财报、市场需求等短期因素的影响。他们若能获得更多的计算资源，或许能在那些企业不会关注、不愿关注的领域，做出有重大影响力的成果。
其实在过去几十年中，AI一直是一个不被看好的研究领域，还不得不披上深度学习、机器学习的马甲。但正是因为高校中有诸如辛顿、杨立昆（YannLeCun）和约书亚·本吉奥（YoshuaBengio）这样持之以恒的研究者，几十年如一日地坚持相关研究，如今的AI热潮才有了实现的基础。
除了在纽约州有EmpireAI这样的算力联盟之外，北美的不少高校和研究机构也开展了规模大小各异的跨机构合作，共享算力资源。2023年底，中国的十余所院校也成立了中国高校算力联盟。或许这种合作能给高校的算力荒带来破局的希望。
来源：《华尔街日报》、Reddit
