德州扑克盲注 | 关于我们

当前人工智能行业的前进步伐，受制于计算能力和数据资源这两大关键瓶颈。

AI模型在执行训练与推理任务时，普遍遭遇算力短缺的困境，一批新兴的芯片及基础设施公司正试图攻克这一难题。

数据方面的限制则更为错综复杂。受Scaling law的驱动，现有AI模型几乎用尽所有可获取的人类公开数据进行训练。若继续沿袭当前范式推动模型进化，数据供应可能出现缺口。

数据匮乏的根本原因，在于现有模型范式的数据利用率不高，或者说样本学习效率偏低。例如，人类大脑通常只需接触少量案例即可掌握新技能，而AI模型若要习得类似能力，则需海量样本进行训练，无论是在预训练还是后训练阶段。据估算，AI模型与人类大脑在样本学习效率上的差距，高达数个数量级。

要跨越这一效率鸿沟，必须依赖颠覆性的底层创新。

Flapping Airplanes正致力于跨越这道障碍，其长期目标是重新构思损失函数，重塑梯度下降算法，构建出学习效率堪比人脑的AI模型。

今年1月，Flapping Airplanes完成了1.8亿美元的种子轮融资，主要投资方包括GV、Sequoia Capital和Index Ventures。今年10月，它又获得了由Index与Lux Capital领投的10亿美元A轮融资。

参与这两轮融资的机构投资者还包括Nova Global、Valor、Atreides、Kleiner Perkins、Fundomo、Steve Cohen、BCV、Menlo Ventures、Hummingbird、Victor Lazarte、Absolute Ventures、A*、CRV、Seven Stars、Genesis、Jump Trading、XTX Ventures、Snowy Leopard和NVIDIA。

Jeff Dean、Stanley Druckenmiller、Katie Haun、Andrej Karpathy、Henry Kravis、Micky Malka、Chris Ré等行业顶尖领袖也以个人投资者身份参与投资。

先“榨干”GPU，再重塑AI的样本学习效率

Flapping Airplanes由Ben Spector（25岁）、Asher Spector（26岁）兄弟以及Aidan Smith共同创立。Ben Spector在斯坦福大学攻读计算机科学博士学位，此前在MIT就读期间创立了孵化器Prod；Asher Spector是斯坦福大学统计学博士；Smith曾有过创业经历，也是Thiel Fellow，大学期间曾在Neuralink工作过3年。

Ben Spector是创始团队的核心人物，他创立的孵化器Prod曾助力Cursor、Decagon、Etched和Decart等一系列明星AI公司的创始团队起步。他的投资人透露，即便Ben的同龄人已打造出估值数十亿美元的独角兽企业，仍会向他寻求见解，他具备直击问题核心、重新定义商业机遇的认知能力。

Flapping Airplanes创始团队，左一为Ben Spector，图片来源：Flapping Airplanes

另一方面，Ben Spector在斯坦福师从Chris Ré教授（独角兽SambaNova Systems和Together AI的联合创始人）进行了一系列有影响力的研究（多次担任论文第一作者），研究主要聚焦于“榨干”GPU的算力，其中Megakernel是一项核心成果，也是Flapping Airplanes目前相对成熟的关键技术。

在2025年的一篇技术博客中，Ben Spector和团队详细阐述了如何让H100推理Llama-1B的速度实现大幅提升。

他们认为，AI系统性能的高低取决于能否持续从GPU全局显存中加载模型权重。目前主流大模型推理计算引擎（如vLLM和SGLang）最多只能发挥GPU可用显存带宽的50%。

为何它们未能跑满GPU带宽？核心问题在于，当前基于独立内核的模型运行方式会频繁引发停顿，打断了显存的连续加载。

具体来说，现有系统会将模型的一次前向传播切分为大约100个独立的算子内核（kernel），每个内核仅执行少量操作（例如注意力计算、MLP层加激活函数、旋转位置编码等）。

而且这种机制还伴随几个问题，例如，GPU内核按严格的先后顺序启动，前一个内核中的所有线程块彻底执行完毕之前，后一个内核中的任何线程块都无法启动。因此，每次启动新内核时，系统都必须等待前一个内核中运行最慢的线程块收尾。

即便成功启动了下一个内核，在真正开始计算之前，仍然必须等待权重和激活值加载完毕。这些延迟会让GPU空转数千个时钟周期。

在此期间，GPU无法执行任何有效工作——例如，至关重要的“模型权重加载”任务就会因此被迫中断。

要解决这些问题，Ben Spector团队的思路，是把整个模型的前向传播合并进一个单一的“megakernel”（超大内核），尽可能消除不同内核之间的切换和等待。

要做到这一点，他们首先解决了如何在一个内核中组织上百个算子的难点。团队在GPU内部设计了一套解释器，把Llama模型的主要计算归纳为7类指令，并提前为每个SM（流式多处理器）安排好执行顺序。这样，GPU可以在一个持续运行的kernel内依次完成整套前向传播，而不必不断退出一个kernel，再启动下一个。

另一个难点是共享内存。为了让下一条指令在前一条指令尚未完全结束时就提前加载权重，他们把每个SM有限的共享内存切分成多个16KiB的页面。不同指令按需申请和释放这些页面，一旦有页面空出来，就立即交给后续指令使用。这样一来，下一步所需的权重可以提前加载，并与前面的计算和数据写回重叠，从而减少GPU等待显存数据的时间。

megakernel榨干了GPU性能，图片来源：hazyresearch

在H100上，这套Megakernel将显存带宽利用率提高到了78%。在同样的Llama-3.2-1B低延迟推理任务中，其速度接近vLLM的2.5倍，并首次将10亿参数以上、16位精度语言模型的单次前向传播压到1毫秒以内。

在Flapping Airplanes，Megakernel成为了一个更完整的框架，借助这套框架能够支持非常规的模型架构、目标函数与优化器，并在同一个内核中，将受限于显存带宽的推理计算与受限于算力的模型训练重叠并行。目前，该框架已能独立执行完整的模型训练、提供推理计算服务、运行视频游戏，甚至可以在单一内核中同时执行这三项任务。

但megakernel并不是他们的终点，他们的第二阶段要做一件更本质的事情，探索AI的全新技术路径，甚至重新设计损失函数，重构梯度下降算法，以构建样本学习效率更高的AI模型。Flapping Airplanes表示这套系统已经在万亿参数级预训练规模上得到内部验证。

这个构想背后的思考，来自团队对人脑与现有AI模型样本学习效率的比较。人类的大脑只需要少量样本就能学习一项新技能，而现有模型能够调动极其广博的知识库，但它们很难快速掌握新技能，哪怕做一点适应性调整都需要灌入海量数据。

而且人脑本身其实面临着极其苛刻的生理限制，它的神经元触发一次动作电位需要1毫秒，而在这1毫秒内，现代计算机已经能执行天文数字般的运算。

如果能够让模型具有类似人脑的样本数据学习效率，并叠加现代的AI算力规模，从长远看，可以创造出在效率和性能上全面超越人脑的机器智能。

为此，团队打通了整个技术栈，从运行在GPU上的底层内核，到预训练、后训练，再到推理，他们对各层级进行协同优化，这是他们坚信的一个规律：最重大的算法突破，往往都建立在底层硬件交互方式革新的基础之上。

一旦他们第二阶段的构想实现，将释放出巨大的商业价值。现有AI模型的样本学习效率不足，限制了它向细分领域渗透的广度和深度——因为许多高价值的细分领域本身缺乏数据，不足以支撑大规模训练。

可以设想，如果模型的数据学习效率能提升100倍，那么它落地实际商业场景的门槛，大概也会随之降低100倍。

无论是科学研究、物理AI，还是其他重要却缺乏数据的垂直领域，都将解锁新的可能。

举个最简单的例子，他们的研究能让后训练阶段的效率实现数量级跃升。届时，只需寥寥几个样本，模型就能迅速切入并胜任一个全新的垂直领域。

下一代AI，从改变学习机制开始

Transformer架构诞生已经接近十年，生成式AI的爆发也已经四年，OpenAI和Anthropic已拥有万亿美元估值。但一方面AI并没有像预期的那样真的在各个方面提升细分领域的商业表现，另一方面，AI公司始终算不明白账：在获得了巨额的收入后，却又要为训练下一代更强的模型付出天量的成本。

这是Scaling law的双刃剑：添加算力，添加数据，你就能获得越来越强的性能，但模型训练成本却又是一个无底洞。

归根结底，这个问题产生的原因，还是AI的数据效率低，或更本质的说，学习效率低。

在继续Scale和研究之间，不少neolab选择了研究，比如Ilya Sutskever和他的SSI，押注的是“人类式学习器”，能够用很少的经验快速学习、持续学习，并把学到的东西泛化到新场景。

前Google DeepMind研究员David Silver创立的Ineffable Intelligence走的是强化学习路线，而且它很激进，想要训练一种完全摆脱人类数据依赖、纯靠试错机制进行学习的新型AI。

很巧的是，SSI、Ineffable Intelligence、Flapping Airplanes，都在单轮获得了10亿美元以上的融资，由此可见硅谷的投资人们，对于新型模型的渴望（或者说焦虑）。

焦虑在哪儿？还是在于AI的商业化。现有的模型架构，很难解决单位经济学的问题，这就导致公司用户越多，AI用量越大，就越亏损，边际成本很难降低。

而一旦突破单位经济学的限制，就可能出现一个良性的循环：技术的成本越低，应用率就会越高，应用范围会越广。这将使整个生态都受益，无论是模型厂商，还是AI应用公司。

什么样的团队更容易突破这个限制？观察这些neolab可以发现，这类团队往往极具创造力，也不太受传统经验束缚，而且成员普遍比较年轻。正因为没有被既有路径限制住，他们才更有可能从零开始，重新思考并彻底重构问题。此外，在优化模型架构时，盲注位置的调整有助于进一步提升资源利用率。

本文来自微信公众号“阿尔法公社”（ID：alphastartups），作者：发现非凡创业者的，36氪经授权发布。