## 引言 🌟 自2018年BERT模型问世以来，尽管在自然语言处理（NLP）领域取得了巨大的成功，但随着技术的不断进步，研究人员对更高效、更强大的模型的需求愈发迫切。如今，Hugging Face推出了现代BERT（ModernBERT），它不仅在速度和准确性上超越了BERT，还在上下文长度和训练数据的多样性上做出了显著改进。本文将深入探讨现代BERT的算法实现，特别是其训练过程和架构设计的细节。 ## 现代BERT的架构设计 🏗️ ### 1. 现代化的Transformer架构现代BERT的核心在于其改进的Transformer架构。与传统的BERT相比，现代BERT在多个方面进行了优化： - **旋转位置编码（RoPE）**：取代了传统的固定位置编码，使得模型在处理长序列时能够更好地理解词与词之间的关系。RoPE通过将每个词的位置信息以旋转的方式编码，允许模型在更长的上下文中保持准确的位置信息。 - **GeGLU激活函数**：用以替代旧的MLP层，提升了模型的表达能力。GeGLU结合了门控机制与线性变换，能够更灵活地捕捉输入数据的特征。 - **去除冗余偏置项**：通过精简架构，更有效地利用参数预算，减少了模型的复杂性。 - **额外的归一化层**：在嵌入后增加归一化层，以帮助稳定训练过程，确保模型在训练时的收敛速度更快。 ### 2. 提升效率的关键技术现代BERT在效率方面的提升主要依赖于以下几个技术： - **交替注意力机制**：在每三层中使用全局注意力，而其余层则采用局部注意力。这种方式显著提高了长输入序列的处理速度，尤其是在处理长文本时，模型能够更高效地聚焦于相关信息。 - **去填充（Unpadding）和序列打包（Sequence Packing）**：避免了传统填充方法带来的计算浪费，通过去除无意义的填充标记，提升了计算效率。具体而言，现代BERT在处理批量数据时，采用了动态调整序列长度的方法，确保每个批次中的样本都能最大限度地利用计算资源。 - **硬件感知模型设计**：模型的设计考虑了不同GPU的性能特点，以最大化硬件利用率。通过对模型参数和层数的优化，现代BERT能够在主流GPU上实现高效运行。 ## 训练过程的细节 🧠 ### 1. 数据多样性现代BERT的训练数据来自多种来源，包括网页文档、代码和科学文章，总计达到2万亿个标记。这种多样性使得现代BERT在编程相关任务上表现优异，尤其是在代码检索和理解方面。与以往仅依赖于维基百科等单一文本来源的模型相比，现代BERT的训练数据更加丰富，能够更好地适应各种实际应用场景。 ### 2. 三阶段训练过程现代BERT的训练过程分为三个阶段： - **第一阶段**：在1024的序列长度上训练1.7万亿个标记。此阶段主要用于模型的基础语言理解能力的构建。 - **第二阶段**：进行长上下文适应训练，使用2500亿个标记，序列长度达到8192。在这一阶段，模型学习如何在更长的上下文中保持信息的连贯性和准确性。 - **第三阶段**：在50亿个标记上进行退火训练，以确保模型在各类任务上的表现均衡。通过逐步调整学习率，模型能够在训练的后期更好地适应复杂的任务。 ### 3. 训练技巧在训练过程中，现代BERT采用了一些技巧以加速训练： - **批量大小预热**：在初始训练步骤中使用较小的批量大小，以更频繁地更新模型权重，随后逐渐增加到最终的批量大小。这种方法不仅加速了模型的学习过程，还提高了训练的稳定性。 - **权重初始化**：通过将现代BERT-base的权重平铺到现代BERT-large中，避免了随机初始化带来的不稳定性。这种权重初始化策略使得模型在训练初期能够更快地收敛，减少了训练时间。 ## 性能评估 📊 现代BERT在多个标准学术基准测试中表现优异，尤其是在GLUE基准上，其基线模型首次超越了DeBERTaV3，且内存占用仅为其五分之一。此外，现代BERT在长上下文推理任务中速度提升显著，能够处理多达8192个标记的输入，远超大多数现有编码器。 ### 1. 性能对比在性能对比中，现代BERT在检索、自然语言理解和代码检索等三大任务类别中均表现出色。尽管在自然语言理解方面略逊于DeBERTaV3，但其速度优势明显，且能够处理更长的输入。这使得现代BERT在实际应用中具备更高的灵活性和适用性。 ### 2. 实际应用场景现代BERT的高效性使其在实际应用中具备广泛的适用性，包括但不限于： - **检索增强生成（RAG）**：在需要快速检索大量信息的场景中，现代BERT能够提供高效的编码支持，提升生成模型的性能。 - **编程助手**：利用现代BERT的代码理解能力，可以构建智能的编程助手，提升开发效率，帮助开发者快速定位和解决问题。 ## 结论 🎉 现代BERT的推出标志着编码器模型的一个重要里程碑。通过现代化的架构设计和高效的训练过程，现代BERT不仅提升了模型的性能，还为未来的NLP应用开辟了新的可能性。我们期待看到社区如何利用这一强大的工具，创造出更多创新的应用。 ## 参考文献 📚 1. Hugging Face. (2024). Finally, a Replacement for BERT: Introducing ModernBERT. Retrieved from [Hugging Face Blog](https://huggingface.co/blog/modernbert). 2. Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. 3. Liu, Y., & Lapata, M. (2019). Attention-Based Graph Neural Network for Text Classification. 4. He, J., & Wu, Y. (2020). A Survey on Transformer Models in Natural Language Processing. 5. Zhang, Y., & Wang, S. (2021). An Overview of Pre-trained Models for Natural Language Processing. 通过以上的详细分析，现代BERT无疑是自然语言处理领域中的一项重要进展，为研究人员和开发者提供了一个强大的工具，助力他们在各种应用场景中取得更好的效果。

# ModernBERT-large：为现代化双向编码器赋能 🚀 ## 模型概述 ModernBERT-large 是一种现代化的双向编码器模型，采用了改进的变换器架构，专为处理长上下文任务而设计。该模型在2万亿个标记的英语和代码数据上进行了预训练，具有高达8192的原生上下文长度。这使得ModernBERT-large在需要处理长文档的任务中表现出色，如检索、分类和大规模语义搜索。 ### 主要特点 - **旋转位置嵌入（RoPE）**：支持长上下文的处理，增强了模型对词序关系的理解。 - **局部-全局交替注意力**：提高了长输入的处理效率，通过在每三层中使用全局注意力，其余层使用局部注意力来优化计算。 - **去填充和闪存注意力**：提升了推理效率，减少了计算资源的浪费。 ## 使用方法您可以通过以下方式直接使用ModernBERT-large模型： ```bash pip install -U transformers>=4.48.0 ``` 由于ModernBERT是一个掩码语言模型（MLM），您可以使用`fill-mask`管道或通过`AutoModelForMaskedLM`加载它。以下是一个使用示例： ```python from transformers import AutoTokenizer, AutoModelForMaskedLM model_id = "answerdotai/ModernBERT-large" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForMaskedLM.from_pretrained(model_id) text = "The capital of France is [MASK]." inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id) predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1) predicted_token = tokenizer.decode(predicted_token_id) print("Predicted token:", predicted_token) ``` ### 注意事项 - ModernBERT不使用标记类型ID，这与一些早期的BERT模型不同。大多数下游使用与Hugging Face Hub上的标准BERT模型相同，您可以省略`token_type_ids`参数。 ## 评估结果在多个任务上对ModernBERT进行了评估，包括自然语言理解（GLUE）、一般检索（BEIR）、长上下文检索（MLDR）和代码检索（CodeSearchNet和StackQA）。以下是一些关键亮点： - 在GLUE基准上，ModernBERT-base超越了其他同类编码器模型，而ModernBERT-large仅次于DeBERTa-v3-large。 - 在一般检索任务中，ModernBERT在BEIR的单向向量（DPR风格）和多向量（ColBERT风格）设置中均表现良好。 - 由于训练数据中包含代码，ModernBERT在CodeSearchNet和StackQA上也取得了新的最先进的代码检索结果。 ## 限制 - ModernBERT的训练数据主要为英语和代码，因此在其他语言上的性能可能较低。 - 尽管能够高效处理长序列，但使用全长8192个标记的窗口可能会比短上下文推理慢。 - 与任何大型语言模型一样，ModernBERT可能会产生反映其训练数据中存在的偏见的表示。在依赖其输出之前，请验证关键或敏感的结果。 ## 训练细节 - **架构**：编码器-仅，预归一化变换器，采用GeGLU激活。 - **序列长度**：预训练最长为1024个标记，然后扩展到8192个标记。 - **数据**：2万亿个标记的英语文本和代码。 - **优化器**：StableAdamW，采用梯形学习率调度和1-sqrt衰减。 - **硬件**：在8个H100 GPU上训练。 ## 许可证我们根据Apache 2.0许可证发布ModernBERT模型架构、模型权重和训练代码库。 ## 引用如果您在工作中使用ModernBERT，请引用以下内容： ```bibtex @misc{modernbert, title={Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference}, author={Benjamin Warner and Antoine Chaffin and Benjamin Clavié and Orion Weller and Oskar Hallström and Said Taghadouini and Alexis Gallagher and Raja Biswas and Faisal Ladhak and Tom Aarsen and Nathan Cooper and Griffin Adams and Jeremy Howard and Iacopo Poli}, year={2024}, eprint={2412.13663}, archivePrefix={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2412.13663}, } ``` ## 结论 ModernBERT-large通过现代化的架构设计和高效的训练过程，为自然语言处理领域带来了新的可能性。它不仅在性能上超越了传统的BERT和RoBERTa模型，还在推理效率和内存使用上实现了显著提升。期待社区利用这一强大的工具，创造出更多创新的应用。

现代BERT：为BERT带来的全新变革 🚀

步子哥

引言 🌟

自2018年BERT模型问世以来，尽管在自然语言处理（NLP）领域取得了巨大的成功，但随着技术的不断进步，研究人员对更高效、更强大的模型的需求愈发迫切。如今，Hugging Face推出了现代BERT（ModernBERT），它不仅在速度和准确性上超越了BERT，还在上下文长度和训练数据的多样性上做出了显著改进。本文将深入探讨现代BERT的算法实现，特别是其训练过程和架构设计的细节。

现代BERT的架构设计 🏗️

1. 现代化的Transformer架构

现代BERT的核心在于其改进的Transformer架构。与传统的BERT相比，现代BERT在多个方面进行了优化：

旋转位置编码（RoPE）：取代了传统的固定位置编码，使得模型在处理长序列时能够更好地理解词与词之间的关系。RoPE通过将每个词的位置信息以旋转的方式编码，允许模型在更长的上下文中保持准确的位置信息。
GeGLU激活函数：用以替代旧的MLP层，提升了模型的表达能力。GeGLU结合了门控机制与线性变换，能够更灵活地捕捉输入数据的特征。
去除冗余偏置项：通过精简架构，更有效地利用参数预算，减少了模型的复杂性。
额外的归一化层：在嵌入后增加归一化层，以帮助稳定训练过程，确保模型在训练时的收敛速度更快。

2. 提升效率的关键技术

现代BERT在效率方面的提升主要依赖于以下几个技术：

交替注意力机制：在每三层中使用全局注意力，而其余层则采用局部注意力。这种方式显著提高了长输入序列的处理速度，尤其是在处理长文本时，模型能够更高效地聚焦于相关信息。
去填充（Unpadding）和序列打包（Sequence Packing）：避免了传统填充方法带来的计算浪费，通过去除无意义的填充标记，提升了计算效率。具体而言，现代BERT在处理批量数据时，采用了动态调整序列长度的方法，确保每个批次中的样本都能最大限度地利用计算资源。
硬件感知模型设计：模型的设计考虑了不同GPU的性能特点，以最大化硬件利用率。通过对模型参数和层数的优化，现代BERT能够在主流GPU上实现高效运行。

训练过程的细节 🧠

1. 数据多样性

现代BERT的训练数据来自多种来源，包括网页文档、代码和科学文章，总计达到2万亿个标记。这种多样性使得现代BERT在编程相关任务上表现优异，尤其是在代码检索和理解方面。与以往仅依赖于维基百科等单一文本来源的模型相比，现代BERT的训练数据更加丰富，能够更好地适应各种实际应用场景。

2. 三阶段训练过程

现代BERT的训练过程分为三个阶段：

第一阶段：在1024的序列长度上训练1.7万亿个标记。此阶段主要用于模型的基础语言理解能力的构建。
第二阶段：进行长上下文适应训练，使用2500亿个标记，序列长度达到8192。在这一阶段，模型学习如何在更长的上下文中保持信息的连贯性和准确性。
第三阶段：在50亿个标记上进行退火训练，以确保模型在各类任务上的表现均衡。通过逐步调整学习率，模型能够在训练的后期更好地适应复杂的任务。

3. 训练技巧

在训练过程中，现代BERT采用了一些技巧以加速训练：

批量大小预热：在初始训练步骤中使用较小的批量大小，以更频繁地更新模型权重，随后逐渐增加到最终的批量大小。这种方法不仅加速了模型的学习过程，还提高了训练的稳定性。
权重初始化：通过将现代BERT-base的权重平铺到现代BERT-large中，避免了随机初始化带来的不稳定性。这种权重初始化策略使得模型在训练初期能够更快地收敛，减少了训练时间。

性能评估 📊

现代BERT在多个标准学术基准测试中表现优异，尤其是在GLUE基准上，其基线模型首次超越了DeBERTaV3，且内存占用仅为其五分之一。此外，现代BERT在长上下文推理任务中速度提升显著，能够处理多达8192个标记的输入，远超大多数现有编码器。

1. 性能对比

在性能对比中，现代BERT在检索、自然语言理解和代码检索等三大任务类别中均表现出色。尽管在自然语言理解方面略逊于DeBERTaV3，但其速度优势明显，且能够处理更长的输入。这使得现代BERT在实际应用中具备更高的灵活性和适用性。

2. 实际应用场景

现代BERT的高效性使其在实际应用中具备广泛的适用性，包括但不限于：

检索增强生成（RAG）：在需要快速检索大量信息的场景中，现代BERT能够提供高效的编码支持，提升生成模型的性能。
编程助手：利用现代BERT的代码理解能力，可以构建智能的编程助手，提升开发效率，帮助开发者快速定位和解决问题。

结论 🎉

现代BERT的推出标志着编码器模型的一个重要里程碑。通过现代化的架构设计和高效的训练过程，现代BERT不仅提升了模型的性能，还为未来的NLP应用开辟了新的可能性。我们期待看到社区如何利用这一强大的工具，创造出更多创新的应用。

参考文献 📚

Hugging Face. (2024). Finally, a Replacement for BERT: Introducing ModernBERT. Retrieved from Hugging Face Blog.
Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.
Liu, Y., & Lapata, M. (2019). Attention-Based Graph Neural Network for Text Classification.
He, J., & Wu, Y. (2020). A Survey on Transformer Models in Natural Language Processing.
Zhang, Y., & Wang, S. (2021). An Overview of Pre-trained Models for Natural Language Processing.

通过以上的详细分析，现代BERT无疑是自然语言处理领域中的一项重要进展，为研究人员和开发者提供了一个强大的工具，助力他们在各种应用场景中取得更好的效果。

步子哥

ModernBERT-large：为现代化双向编码器赋能 🚀

模型概述

ModernBERT-large 是一种现代化的双向编码器模型，采用了改进的变换器架构，专为处理长上下文任务而设计。该模型在2万亿个标记的英语和代码数据上进行了预训练，具有高达8192的原生上下文长度。这使得ModernBERT-large在需要处理长文档的任务中表现出色，如检索、分类和大规模语义搜索。

主要特点

旋转位置嵌入（RoPE）：支持长上下文的处理，增强了模型对词序关系的理解。
局部-全局交替注意力：提高了长输入的处理效率，通过在每三层中使用全局注意力，其余层使用局部注意力来优化计算。
去填充和闪存注意力：提升了推理效率，减少了计算资源的浪费。

使用方法

您可以通过以下方式直接使用ModernBERT-large模型：

pip install -U transformers>=4.48.0

由于ModernBERT是一个掩码语言模型（MLM），您可以使用fill-mask管道或通过AutoModelForMaskedLM加载它。以下是一个使用示例：

from transformers import AutoTokenizer, AutoModelForMaskedLM

model_id = "answerdotai/ModernBERT-large"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id)

text = "The capital of France is [MASK]."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)

masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)

注意事项

ModernBERT不使用标记类型ID，这与一些早期的BERT模型不同。大多数下游使用与Hugging Face Hub上的标准BERT模型相同，您可以省略token_type_ids参数。

评估结果

在多个任务上对ModernBERT进行了评估，包括自然语言理解（GLUE）、一般检索（BEIR）、长上下文检索（MLDR）和代码检索（CodeSearchNet和StackQA）。以下是一些关键亮点：

在GLUE基准上，ModernBERT-base超越了其他同类编码器模型，而ModernBERT-large仅次于DeBERTa-v3-large。
在一般检索任务中，ModernBERT在BEIR的单向向量（DPR风格）和多向量（ColBERT风格）设置中均表现良好。
由于训练数据中包含代码，ModernBERT在CodeSearchNet和StackQA上也取得了新的最先进的代码检索结果。

限制

ModernBERT的训练数据主要为英语和代码，因此在其他语言上的性能可能较低。
尽管能够高效处理长序列，但使用全长8192个标记的窗口可能会比短上下文推理慢。
与任何大型语言模型一样，ModernBERT可能会产生反映其训练数据中存在的偏见的表示。在依赖其输出之前，请验证关键或敏感的结果。

训练细节

架构：编码器-仅，预归一化变换器，采用GeGLU激活。
序列长度：预训练最长为1024个标记，然后扩展到8192个标记。
数据：2万亿个标记的英语文本和代码。
优化器：StableAdamW，采用梯形学习率调度和1-sqrt衰减。
硬件：在8个H100 GPU上训练。

许可证

我们根据Apache 2.0许可证发布ModernBERT模型架构、模型权重和训练代码库。

引用

如果您在工作中使用ModernBERT，请引用以下内容：

@misc{modernbert,
      title={Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference}, 
      author={Benjamin Warner and Antoine Chaffin and Benjamin Clavié and Orion Weller and Oskar Hallström and Said Taghadouini and Alexis Gallagher and Raja Biswas and Faisal Ladhak and Tom Aarsen and Nathan Cooper and Griffin Adams and Jeremy Howard and Iacopo Poli},
      year={2024},
      eprint={2412.13663},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.13663}, 
}

结论

ModernBERT-large通过现代化的架构设计和高效的训练过程，为自然语言处理领域带来了新的可能性。它不仅在性能上超越了传统的BERT和RoBERTa模型，还在推理效率和内存使用上实现了显著提升。期待社区利用这一强大的工具，创造出更多创新的应用。