AI与区块链的融合:从零到巅峰

人工智能行业近期的蓬勃发展被视为第四次工业革命。大型语言模型的出现显著提升了各行各业的效率,据估计为美国整体工作效率带来约20%的提升。同时,大模型的泛化能力被认为是新的软件设计范式,相比过去精确的代码设计,现在的软件更多采用泛化的大模型框架,从而支持更广泛的输入输出模态。深度学习技术确实为AI行业带来了新一轮繁荣,这股热潮也蔓延到了加密货币行业。

本文将详细探讨AI行业的发展历程、技术分类,以及深度学习对行业的深远影响。我们将深入剖析深度学习产业链的上下游,包括GPU、云计算、数据源、边缘设备等,分析其发展现状与趋势。此外,我们将从本质上探讨加密货币与AI行业的关系,梳理加密相关的AI产业链格局。

AI行业的发展历程

AI行业起步于20世纪50年代。为实现人工智能的愿景,学术界和工业界在不同时代背景下发展出了多种实现路径。

现代人工智能技术主要采用"机器学习"这一术语,其核心理念是让机器通过数据迭代来改善系统性能。主要步骤包括将数据输入算法、训练模型、测试部署模型,最后用于自动化预测任务。

机器学习目前有三大主要流派:联结主义、符号主义和行为主义,分别模仿人类的神经系统、思维和行为。目前以神经网络为代表的联结主义占据主导地位(也称为深度学习)。神经网络架构包含输入层、输出层和多个隐藏层,当层数和神经元(参数)数量足够多时,就能拟合复杂的通用任务。

基于神经网络的深度学习技术也经历了多次迭代,从最早的神经网络,到前馈神经网络、RNN、CNN、GAN,最后演进到现代大模型如GPT等使用的Transformer技术。Transformer技术是神经网络的一个演进方向,增加了一个转换器,用于将不同模态(如音频、视频、图片等)的数据编码成对应的数值表示,然后输入神经网络,从而实现多模态处理能力。

AI发展经历了三次技术浪潮:

1. 20世纪60年代:符号主义技术发展,解决了通用自然语言处理和人机对话问题。同期诞生了专家系统。

2. 20世纪90年代:贝叶斯网络和基于行为的机器人学提出,标志着行为主义的诞生。1997年IBM深蓝战胜国际象棋冠军,被视为AI的里程碑。

3. 2006年至今:深度学习概念提出,以人工神经网络为架构的算法逐渐演进,从RNN、GAN到Transformer和Stable Diffusion,这是联结主义的鼎盛时期。

近年来AI领域的一些标志性事件包括:

• 2015年,深度学习算法在《自然》杂志发表,引起学术界和工业界巨大反响。
• 2016年,AlphaGo战胜围棋世界冠军李世石。
• 2017年,Google发布Transformer算法论文,大规模语言模型开始出现。
• 2018-2020年,OpenAI发布GPT系列模型,参数规模不断增大。
• 2023年1月,基于GPT-4的ChatGPT推出,3月达到1亿用户,成为历史上最快达到1亿用户的应用。

深度学习产业链

当前大型语言模型主要采用基于神经网络的深度学习方法。以GPT为代表的大模型引发了新一轮AI热潮,大量玩家涌入这个赛道。市场对数据和算力的需求迅速增长,因此我们将探讨深度学习算法的产业链构成,以及上下游的现状、供需关系和未来发展。

GPT等大型语言模型(LLMs)的训练主要分为三个步骤:

1. 预训练:输入大量数据对来寻找神经元的最佳参数,这个过程最耗费算力。

2. 微调:使用少量但质量很高的数据进行训练,提升模型输出质量。

3. 强化学习:建立"奖励模型"对输出结果进行排序,用于迭代大模型参数。

影响大模型表现的三个关键因素是:参数数量、数据量与质量、算力。假设参数数量为p,数据量为n(以Token数量计算),那么可以通过经验法则估算所需的计算量。

算力一般以Flops为基本单位,代表一次浮点运算。根据经验法则,预训练一次大模型大约需要6np Flops。而推理(输入数据等待模型输出的过程)大约需要2np Flops。

早期主要使用CPU芯片进行训练,后来逐渐转向GPU,如英伟达的A100、H100芯片等。GPU通过Tensor Core模块进行浮点运算,其FP16/FP32精度下的Flops数据是衡量芯片计算能力的重要指标。

以GPT-3为例,其有1750亿个参数,1800亿个Token的数据量。一次预训练需要约3.1510^22 Flops,即3.1510^10 TFLOPS。使用一张英伟达H100 SXM芯片预训练一次GPT-3需要约584天。

可以看到训练大模型需要巨大的计算量,需要多张最先进芯片共同计算。GPT-4的参数量和数据量都是GPT-3的十倍,可能需要超过100倍的芯片算力。

在大模型训练中,数据存储也面临挑战。GPT-3的数据占用约570GB,参数占用约700GB。GPU内存一般较小(如A100为80GB),无法容纳全部数据,因此需要考虑芯片带宽。多GPU训练时还涉及芯片间数据传输速率。有时候制约训练速度的瓶颈不是计算能力,而是数据传输速度。

深度学习产业链主要包括以下几个环节:

1. 硬件GPU提供商

英伟达在AI GPU芯片领域处于绝对领先地位。学术界主要使用消费级GPU(如RTX系列),工业界主要使用H100、A100等商用芯片。Google也有自研的TPU芯片,但主要用于Google Cloud服务。

2023年英伟达H100芯片一经发布就获得大量订单,供不应求。截至2023年底H100订购量超过50万片。为摆脱对英伟达的依赖,Google牵头成立了CUDA联盟,希望共同研发GPU。

2. 云服务提供商

云服务商购买大量GPU组建高性能计算集群,为资金有限的AI企业提供弹性算力和托管训练解决方案。主要分为三类:

• 传统大型云厂商:AWS、Google Cloud、Azure等
• 垂直AI云算力平台:CoreWeave、Lambda等
• 推理即服务提供商:Together.ai、Fireworks.ai等

3. 训练数据源提供商

大模型训练需要海量数据。一些公司专门提供各行业的训练数据,如金融、医疗、化学等领域的专业数据集。

4. 数据库提供商

AI训练需要高效存储和处理海量非结构化数据,因此出现了专门的"矢量数据库"。主要玩家包括Chroma、Zilliz、Pinecone等。

5. 边缘设备

GPU集群会产生大量热能,需要冷却系统来保证稳定运行。目前主要采用风冷,但液冷系统正受到资本青睐。能源供给方面,一些科技公司开始投资地热、氢能、核能等清洁能源。

6. AI应用

目前AI应用的发展类似区块链行业,基础设施拥挤但应用开发相对滞后。前十大月活AI应用多为搜索类产品,社交等其他类型应用较少。AI应用的用户留存率也普遍低于传统互联网应用。

总的来说,深度学习产业链正在快速发展,但也面临诸多挑战。算力需求持续增长,数据和能源消耗巨大,应用场景有待进一步拓展。未来产业链各环节将继续优化升级,以支持更大规模、更高效的AI模型训练和应用。

加密货币与AI的关系

区块链技术的核心是去中心化和去信任化。从比特币作为点对点电子现金系统,到以太坊的智能合约平台,区块链本质上是一个价值网络,每笔交易都是基于底层代币的价值交换。

在传统互联网中,价值通过P/E等指标折算成股价和市值。而在区块链网络中,原生代币作为多维度价值的体现,不仅可以获得质押收益,还能作为价值交换媒介、价值存储媒介和网络活动的消费品等。

代币经济学的重要性在于,它能为网络中的任何功能或思想赋予价值。代币能让AI产业链各环节进行价值重塑,激励更多人深耕AI细分赛道。同时,代币的协同效应会提升基础设施的价值,形成"胖协议瘦应用"的格局。

区块链技术的不可篡改和无需信任特性,也能为AI行业带来实际价值:

• 实现数据隐私保护下的模型训练和推理
• 通过全球化网络分销和利用闲置GPU算力
• 为AI产业链各环节提供可信的价值发现和交换机制

总之,代币经济学能促进AI行业价值的重塑和发现,去中心化账本能解决信任问题,将价值在全球范围内重新流动起来。这种结合将为AI产业带来新的发展动力和机遇。

加密货币行业AI产业链项目概览

GPU供给侧

目前主要的区块链GPU云算力项目包括Render、Golem等。Render作为较成熟的项目,主要面向视频渲染等传统任务,严格意义上不算AI板块。但GPU云市场不仅可以面向AI模型训练和推理,也可应用于传统渲染,降低了对单一市场的依赖风险。

根据行业预测,2024年GPU算力需求约750亿美元,到2032年将达7730亿美元,年复合增长率33.86%。随着GPU迭代加快,共享GPU算力的需求将大幅增长,因为会产生大量非最新的闲置GPU资源。

硬件带宽

带宽往往是影响云计算性能的关键因素,特别是对于去中心化的GPU共享网络。一些项目如Meson Network试图通过共享带宽来解决这一问题,但实际效果有限,因为地理位置造成的延迟仍然难以避免。

数据

AI数据提供商包括EpiK Protocol、Synesis One、Masa等。相比传统Web2数据企业,区块链项目在数据采集方面具有优势,可以为个人数据贡献提供激励。结合零知识证明等隐私计算技术,有望实现更广泛的数据共享。

ZKML

为实现数据隐私保护下的模型训练和推理,一些项目采用零知识证明方案。典型项目包括Axiom、Risc Zero等,可为链下计算和数据提供ZK证明。这类通用ZK项目应用边界更广,对投资者更有吸引力。