Cartesia近日发布系列博客的第一篇，主题聚焦其层级网络（H-Net）在字节级语言建模上的扩缩律研究结果。该研究将H-Net与严格匹配的BPE Transformer进行对比，试图回答字节级建模能否在计算效率上追平甚至超越主流分词方案。

在验证损失指标上，1-stage H-Net相比严格匹配的BPE Transformer节省1.28倍计算。这一数字意味着，在达到同等验证损失的前提下，H-Net所需的算力投入低于BPE基线。

下游评测中的差距进一步拉大。1-stage H-Net的计算效率约为BPE的2倍；在代码任务上，其中位数达到2.04倍；在分布外编程语言上，中位数效率提升达3.10倍，其中Prolog语言上的表现达到5.37倍。

上述结果表明，字节级层级网络在跨语言、跨任务的泛化场景中可能具备更明显的效率优势，尤其体现在训练分布之外的编程语言任务上。Cartesia以系列博客形式披露该研究，后续内容值得关注。

对AI行业从业者而言，这组扩缩律数据为字节级语言建模路线提供了可量化的效率参照，也为分词方案之外的架构选择增添了新的比较维度。