文 丨 新浪科技 周文猛

　　在磨砺东说念主工智能大模子的历程中，采购超等测度服务或存储器，也正在成为有用缓解算力粗豪的新门道。

　　近日，中国工程院院士、清华大学测度机系教会郑纬民在与新浪科技交流中指出，“往常磨砺一个大模子要干预几十亿，但如果把大模子磨砺拿到超算上去作念，价钱只需要用到英伟达的六分之一。”

　　此外，郑纬民还指出了一种全新的AI推剃头展新趋势——“以存换算”。他以清华大学与AI独角兽企业月之暗面共同开辟的Mooncake时期框架为例，先容了该时期基于“以存换算”想路，匡助月之暗面kimi智能助手缓解算力垂危需求的旨趣，从而幸免服务器宕机。

　　“把大模子磨砺搬到超算上，价钱只需英伟达1/6”

　　郑纬民看到，在经过ChatGPT发布后全球各科技企业快速追逐后，本年大模子有两个特色：第一，基础大模子进入多模形容态，不惟一文本，还有图像、视频等；第二，的确用起来了，大模子正与各行业践诺的联结，比如大模子+金融，大模子+医疗、大模子+汽车、大模子+智能制造等。

　　“大模子的确在与国民经济GDP、跟东说念主们的生流水平密切联结，我一直以为基础大模子咱们的水平跟好意思国比一经差少量，但‘大模子+’这件事，咱们一经有但愿进步好意思国的。”郑纬民暗意。

　　但是，大模子简直的应用历程中，在波及数据赢得、数据预处理、模子磨砺、模子微调、模子推理等五个步调在内的全生命周期中，却需要大批的算力资源。若何以更低的老本赢得愈加高效、更高可靠的AI大模子算力资源，成为每家企业王人在想考的问题。

　　迫于外洋高端芯片赢得的繁难，当今国内为餍足AI大模子磨砺带来的海量算力需求，主要发展出的一种处治想路是：通过搭建千卡、万卡集群，通过海量芯片半导体堆叠，采购多家厂商的芯片进行异构卡荟萃磨砺，来餍足我方大模子产物磨砺的海量算力需求。但在郑纬民看来，这种阵势虽能处治算力紧缺问题，但也存在一些瑕玷。

　　领先，关于构开国产万卡系统，建成诚然蹙迫，但用好却很难。郑纬民以我方作念高性能测度的切身阅历以身作则说念：“建一个2000卡的系统，其中1000块用英伟达芯片，另外1000块用其他厂家的，系统建成也开动起来了，但最终发现这些芯片性能不一，有的武艺小少量，有的武艺大少量，一个任务下来分红2000份，还要给其中1000个芯片分小少量的任务，另外1000个分大少量的任务，这一经静态的，如果是动态的，则径直分红了2000份最小的进行处理，性能很低。”

　　郑纬民指出，大规模算力集群开辟历程中存在木桶效应，有的测度卡智力强，有的则弱，就像统统桶装若干水最终是由短板决定的，板子再长也莫得用。“是以1000个老GPU和1000个新GPU合起来，性能比2000个老GPU性能还低少量，作念大规模算力集群的老本也挺大。”

　　在郑纬民看来，进行大规模异构卡荟萃磨砺，在静态环境下想要终了最高的性能很难，并不合算，如果再波及外乡卡，就会更难，数据从北京传到贵州，贵州作念出来抑止再送到上海，这中间波及的时辰老本极高。“钱少的东说念主不需要作念，钱多的东说念主不错试试。”

　　郑纬民提议企业尝试罗致超算来进行AI大模子磨砺。“我国有14亿超算系统，钱王人是国度付的，有的机器还有少量富饶，因为国内超算机器收费低廉，不像英伟达要把机器老本收细致还要赢利，是以大众作念大模子磨砺到青岛神威超算上作念，六分之一的价钱就够了。”郑纬民暗意。

　　“以存换算，八成有用裁减AI推理老本”

　　事实上，大模子简直的应用历程中，在波及数据赢得、数据预处理、模子磨砺、模子微调、模子推理等五个步调在内的全生命周期中，需要大批算力资源的同期，也需要有着大批的存储资源，用于存储海量测度抑止。尤其在模子推理历程中，若何存得多、传得快、性价比高，成为统统行业王人在共同想考的问题。

　　此前，郑纬民曾公开说起，“AI存储是东说念主工智能大模子的要道基座，存储系统存在于大模子生命周期的每一环，是大模子的要道基座，通过以存强算、以存换算，先进的AI存储八成升迁磨砺集群可费用，裁减推理老本，升迁用户体验。”

　　在与新浪科技交流中，郑纬民共享了“以存换算”的基愉快趣。他指出，“大模子岂论是磨砺一经推理，王人需要很大的算力，同期也需要好多存储，用来存储大模子磨砺出来的海量参数，以及推理历程中产生的一些历程数据。”但是，如果统统磨砺或推理历程中需要存储的数据越来越多，这会导致存储器资源紧缺，最终反而又会成为大模子性能升迁的“职责”。

　　据郑纬民先容，为处治上述问题，清华大学想了两个主义：第一，在推理历程当中，当今主如果推理卡就业，主机CPU跟主机存储器是无谓的，因此，不错想主义把主机上的存储用具到推理历程中，升迁了存储器哄骗率，性能升迁的同期，也从简了约束购买推理卡的资金老本；第二，将推理历程中产生的共性的、用户共用的内容存储起来，通过存储必要推理历程中产生的数据，当后续碰到相似问题的时候径直调用，径直省去了每次碰到相似问题时推理历程，升迁了后果，同期从简了资源。

　　郑纬民以清华大学与月之暗面共同研发的Mooncake时期框架为例先容指出，“通过将不同用户与Kimi对话的大众内容索取出来，存储下来，这不仅减少了每次用户发问王人要重腾达成的历程，从简了许多算力卡，也减少了kimi因走访过大导致的‘走访蔓延’或‘宕机’等问题。”

海量资讯、精确解读，尽在新浪财经APP

职责剪辑：李昂 开云kaiyun中国官方网站