文本嵌入技术是自然语言处理（NLP）的核心，广泛应用于检索、分类、聚类、问答和摘要等任务。随着预训练语言模型（PLM）如BERT、T5和LLaMA的出现，文本嵌入进入了“通用+可迁移”时代。本文综述了通用文本嵌入（GPTE）的架构、数据和模型，探讨了PLM如何为GPTE带来基础能力和高级扩展。文章涵盖了GPTE的典型架构、PLM在GPTE中的关键作用、多模态和多语言GPTE的发展趋势，以及代码嵌入的最新进展。最后，文章总结了GPTE的现状和未来发展方向，指出数据合成、对比学习和大模型上下文窗口是当前性能提升的关键。

🔍 GPTE 架构以 Bi-Encoder + 对比学习为核心，利用任意 PLM（如 BERT、T5、LLaMA）作为主干，通过池化（CLS/ Mean/ Last-Token/ Prompt-Pooling）和训练（大规模文本对 + InfoNCE 对比损失）生成嵌入表示。

📈 PLM 为 GPTE 带来基础能力，包括嵌入抽取（CLS/ Mean/ Last-Token/ 多层融合）、长文本处理（RoPE、Alibi、LongEmbed）、训练策略（多阶段：弱监督→高质量）、学习目标（CL + MLM + MRL + KDG）和数据合成（LLM 生成正/负样本）。

🌐 多模态 GPTE 正在兴起，典型应用是 RAG 检索，模型如 E5-VT、ILLaVA-NeXT 和 MegaPairs 支持图文编码和统一检索。多语言 GPTE 模型如 mE5XLM 和 BGE-M3 支持跨语种检索和长文本处理。

💻 代码嵌入在 LLM 时代取得进展，模型如 CodeLlama 和 DeepSeek-Coder 直接进行代码嵌入，采用对比学习方法如 UniXcoder 和 ContraBERT 提升性能。

🚀 未来 GPTE 模型将需要“会推理、懂安全、能解耦”，数据合成、对比学习和大模型上下文窗口将继续推动性能提升。

2025-08-24 23:22 上海

https://arxiv.org/pdf/2507.20783v1
On The Role of Pretrained Language Models in General-Purpose Text Embeddings: A Survey

一起“点赞”三连↓