最近，Mamba 作者之一 Albert Gu 又发新研究，他参与的一篇论文《 Dynamic Chunking for End-to-End Hierarchical Sequence Modeling 》提出了一个分层网络 H-Net，其用模型内部的动态分块过程取代 tokenization，从而自动发现和操作有意义的数据单元。 现阶段，Tokenization 仍然是语言模型和其他顺序数据不可或缺的组成部分，因为它能够压缩和缩短序列。然而 Tokenization 存在许多缺点，如可解释性差，在处理复杂语言（如中文、代码、DNA 序列）时性能下降等。 迄今为止，尚未有任何端到端的无 tokenizer 模型在计算预算相匹配的情况下超越基于 tokenizer 的语言模型的表现。最近，已经有研究开始致力于在自回归序列模型中突破 Tokenization 限制。 在此背景下，来自 CMU、 Cartesia AI 等机构的研究者提出了一系列新技术，通过动态分块机制实现内容与上下文自适应的分割策略，该机制可与模型其他部分联合学习。将这一机制融入显式分层网络（H-Net）后，原本隐含分层的「tokenization–LM–detokenization」流程可被完全端到端的单一模型取代。 在计算资源和数据量对等的条件下，仅采用单层字节级分层的 H-Net 模型，其表现已优于基于 BPE token 的强 Transformer 语言模型。通过多级分层迭代建模不同抽象层级，模型性能得到进一步提升 —— 这不仅展现出更优的数据规模效应，更能媲美两倍规模的基于 token 的 Transformer 模型。 在英语预训练中，H-Net 展现出显著增强的字符级鲁棒性，并能定性学习有意义的、数据依赖的分块策略，全程无需启发式规则或显式监督。 最后，在 tokenization 启发式方法效果较弱的语言和模态（如中文、代码或 DNA 序列）中，H-Net 相比 tokenization 流程的优势进一步扩大（数据效率较基线提升近 4 倍），这证明了真正端到端模型从未经处理数据中实现更优学习和扩展的潜力。 本文提出了一种端到端的分层网络（H-Net），通过递归、数据依赖的动态分块（DC，dynamic chunking）过程压缩原始数据（见图 1）。H-Net 在保持与 token 化流程相同效率的同时，通过用从数据中学习的内容感知和上下文依赖的分割替代手工启发式方法，显著提高了建模能力。 H-Net 的核心是动态分块（DC）机制，它位于主网络与编码器 / 解码器网络之间，用于学习如何分割数据，同时使用标准的可微优化方法。DC 由两种互补的新技术组成： 通过将这些技术与一个新的辅助损失函数结合，并利用现代基于梯度的离散选择学习技术，DC 使得 H-Net 能够以完全端到端的方式学习如何压缩数据。 本文还引入了几种架构和训练技术，以提高端到端优化过程中的稳定性和可扩展性。这些技术包括：(i) 精心布置的投影层和归一化层，以平衡交互子网络之间的信号传播；(ii) 根据每层的维度和有效批次大小调整其优化参数。 H-Net 代表了第一个真正的端到端、无 tokenizer 的语言模型：通过一个动态分块阶段，字节级的 H-Net 在超过 10 亿参数的规模下，达到了与强大的 BPE token 化 Transformer 相当的困惑度和下游性能。 从经验上看，动态分块模块自然地将数据压缩到与 BPE tokenizer 相似的分辨率（每块 4.5-5 字节），并且在没有任何外部监督或启发式方法的情况下，定性地学习到有意义的边界。 实际上，通过直接比较训练稳定阶段的困惑度曲线（图 6），本文发现 H-Net 模型在数据量仅为 3.6 倍的情况下，能够达到与各向同性模型相似的性能，这一发现适用于两种主网络架构的选择。
