*本文为《半月谈内部版》2024年第10期内容

浙江杭州宣布每年“算力券”总额提升至2.5亿元;内蒙古乌兰察布正打造“全国算力保障基地”绿色低碳先行示范区;江苏选择为数据立法,拟明确支持经营主体开放数据;湖南发布工作要点,拟释放数据要素价值……近段时间,各地相继推出政策措施,抢抓风口,聚焦“算力”和“数据”。伴随人工智能进入竞速跑阶段,上述两大关键词将成为推动产业发展的关键基础设施和基本要素。

构建新质算力基础设施

作为人工智能发展的重要“底座”,2024年世界人工智能大会汇聚了诸多头部企业,并带来最新智算成果。接受半月谈记者采访的业内人士认为,算力市场将在很长一段时间内呈现供不应求态势,构建新质算力基础设施将成为未来必争之地,能—算—数—网(即能源、算力、数据、网络)一体化发展时代或将来临。

商汤智能产业研究院院长田丰认为,随着各种垂类、端类大模型成比例地增加,市场对算力的需求将处于井喷状态。算力在短期或者中期都将是新质生产力。一位行业资深人士对半月谈记者说:“在国内通用大模型还未出现绝对领先者的当下,产业各方对垂直模型的应用市场更加关注。从新近通过模型备案的数量看,垂直模型的比例越来越高。如何率先进入应用市场,抢占先机,后续再迭代升级,是当前的关注重点。对于算力的需求将会更贴近用户,使用边缘算力池实现应用推理将成为常态。”

7月6日,世界人工智能大会参观者在讯飞星火大模型演示屏前体验交流。新华社记者方喆摄

更加普惠和绿色环保的算力将快速增长,像水和空气一样赋能千行百业。

不少公司近期推出的智算产品都与此息息相关。商汤科技带来国内训练大模型的先进基础设施,SenseCore商汤大装置总算力规模高达12000petaFLOPS(算力单位:每秒千万亿次浮点运算),可支撑超过20个千亿超大模型同时训练。中国电信推出云骁智算平台,实现了A100 93%的算效。无问芯穹发布了大规模模型的异构分布式混合训练系统,千卡异构混合训练集群算力利用率最高达到了97.6%。

田丰表示,市场上将出现越来越多的节能芯片和更高密度芯片,算力将更加绿色环保。人工智能行业从单纯的模型计算步入实打实的应用阶段,对于新质算力基础设施的需求也在不断增加。

高质量数据打下底座

未来,AI模型趋于复杂,并开始处理文本、音频、图像和视频等各种类型数据,对快速数据处理的需求变得更加迫切。多家企业对此已提出相应方案。如星环科技的企业级多模态知识存储与服务,包括大数据与云平台、星环分布式交易型数据库(Transwarp KunDB)、分布式分析型数据库(Transwarp ArgoDB)等,助力企业打造新一代一站式多模型数字底座。

中国电信则为此打造了数链智网(DCAN)。半月谈记者获悉,数链智网是指中国电信依托云、网、数、智、安资源禀赋和基础优势,统一构建的数据要素能力体系,涵盖“星海”大数据产品矩阵、“灵泽”数据要素链服务、“银河”数据跨境流通解决方案等三大板块。

值得注意的是,当下,大模型在垂直行业应用时,许多企业通过私有化部署来应对数据安全挑战,这不仅增加企业的运维和服务成本,还影响对外服务的效率和质量,且不利于多方数据跨领域、跨行业高效融合。

6月26日,上海,2024MWC上海世界移动通信大会。

在蚂蚁集团副总裁兼首席技术安全官、蚂蚁密算董事长韦韬看来,数据供给决定了大模型应用能力的上限,而隐私计算技术决定了数据跨域供给的上限。当大模型从通用走向专业应用,从技术想象力走向产业的生产力,必须解决高质量数据集稀缺与专业数据阻滞的挑战,否则,大模型作为“智力引擎”,只会陷入空转。今后,高价值数据要深度融合,须以密态方式进行安全流转。“我们希望联合产业合作伙伴,把蚂蚁集团多年来在密态计算技术上的探索和创新,以开源和产品化的形式对外开放,为实体经济和中小微企业创造新的价值,让数据价值的流动像自来水一样即开即用。”韦韬说。

星环科技创始人、CEO孙元浩表示,为了解决AI大模型中文语料治理等数据问题、大模型安全可控的问题,以及垂类全流程安全可控问题等,星环科技推出大模型运营平台(Sophon LLMOps),提供一站式的大模型基础平台。同时加快模型和语料研发,推出大模型“无涯”,形成了大语言模型在行业的落地与合规安全的方法和实践。此外,星环科技还积极推进数据要素相关研发,数据要素流通平台Navier和数据安全管理平台Defensor等都已投入应用。

警惕数据瓶颈与算力浪费

目前,我国算力布局仍较为分散。一位行业资深专家表示,除了模型训练之外,异构芯片单集群以及跨集群的联合训练是当前算力领域重要的堵点问题,也是热点问题。如果把闲散算力综合利用,解决中国算力布局分散、芯片企业多点分布的现状,需要产业各方大力推进。核心问题是异构芯片的联合训练效率如何逼近单类芯片的训练效率。

这背后显示出全国一体化算力市场建设的紧迫性。半月谈记者发现,一些公司已通过自身平台,探索局部一体化。无问芯穹宣布,其Infini-AI云平台已集成大模型异构千卡混训能力,是全球首个可进行单任务千卡规模异构芯片混合训练的平台,具备万卡扩展性,支持包括AMD、华为昇腾、天数智芯、沐曦、摩尔线程、NVIDIA六种异构芯片在内的大模型混合训练。

7月5日,上海浦东,2024世界人工智能大会,星环科技展出其全系列的AI+Infra平台及工具,无涯大模型。

大模型向下深入扎根行业,必须破解高质量数据供给的挑战。专业数据往往分散在不同的机构、企业中,并且由于价值大、保密要求高而难以流动。此外,在企业、大模型厂商和用户之间存在信任壁垒,企业担心数据对外泄露,大模型厂商担心模型资产安全,用户担心个人数据和隐私风险。

中金公司的报告认为,数据很可能是人工智能发展的瓶颈。一方面,大模型越来越依赖数据。大模型所使用的数据量已经从GB级别增长到TB(1TB=1024GB)级别。截至2024年3月,大模型使用的词元数量已达到40万亿级别。另一方面,对于大模型训练,不仅需要一般的数据,高质量数据更不可或缺。高质量数据一般具有完整性、一致性、有效性、准确性、及时性,是更加结构化、有逻辑性的数据,如书籍、报告等。中金公司认为,高质量数据可以更好地模拟客观世界,使模型预测的分布更加接近真实世界的数据分布,从而提升模型的效果。而使用低质量的数据会产生“垃圾进,垃圾出”的效果,对于模型能力没有提升,反而可能有害。

除此以外,金融方面的支持仍有较大空间。田丰表示,相比美国新一波的AI云计算公司,国内金融市场对本土AI算力企业的支持还非常薄弱,但这也是机会。一旦有了大金融加持,中国的算力基础设施将日新月异,“算赋百业”不再只是设想。

半月谈记者:王宙洁 宋薇萍

原标题:《算力能否像水和空气一样赋能百业?

新质算力,必争之地》