10月11日消息,手机技术下一个方向无疑也是向AI转型,高通CEO安蒙日前在采访中确认已经有AI厂商要在2028年实现手机跑1000亿参数大模型的计划了。

他表示不能透露具体的名字,但有一些公司——还是前沿领域的公司告诉高通,他们希望在2028年时手机能运行至少1个1000亿参数的大模型,而且还是一直在运行。

他还提到有些AI公司开始造手机了,不过安蒙同样没有透露名字。

考虑到他说的是前沿级AI公司,实际上美国也就那几个选择——OpenAI、Anthropic、谷歌,潜在候选还有微软、亚马逊、Meta,不过最有可能的还是前面三家。

手机是AI未来最佳入口,AI公司也不想错过这个机会的,造手机已经不是新闻了,OpenAI甚至都从AI音箱练手了,未来自己造手机等各种AI硬件是可预期的,御三家没谁希望AI入口还被苹果独家掌握。

但是在手机上跑1000亿参数的大模型,难度不是一星半点,单纯的算力是足够的,关键在内存和带宽。

1000亿参数大模型的FP16权需要200GB内存,哪怕量化到8位、4位,依然也要100、55GB内存,量化到2位之后就没啥意义了,就算能装得下,。

容量之外带宽也决定了Token速度,现在的LPDDR5X 9600内存 64bit位宽下带宽也就68-77GB/s,但20Token/s的速度就要TB/s级带宽,哪怕是MoE模型,带宽要求依然远高于现有水平。

考虑到2028年还有2年时间,技术进步空间还是有的,到时候一方面受益于手机芯片的发展,有公司在做独立的AI芯片方案了,激进点的甚至考虑上3D内存,另一方面AI技术也在进步,MoE加上2-4位的量化,能跑1000亿参数大模型也不是完全没可能。

但是高通CEO所说的要求是大模型要一直在运行,这个就很难了,因为手机的续航也撑不住,一直后台运行大模型必然会有高负载的功耗,就跟全程玩游戏差不多,哪家手机的电池也撑不住几个小时,这个要求更高。

反正2028年的时候不排除AI厂商会拿手机本地运行1000亿参数大模型来宣传,但实用性还要打个折扣,除非未来两年内手机芯片、内存及AI算法都有一次质变。

高通CEO:AI厂商28年要在手机跑1000亿参数大模型 还要自己造手机

【本文来源:快•科技】