华为诺亚方舟实验室联合香港大学推出开源创新：Dream 7B 语言模型，引领文本生成领域革新

人工智能领域再添一颗耀眼新星!近日，华为诺亚方舟实验室与香港大学自然语言处理组（HKU NLP Group）联合发布了名为Dream7B的全新语言模型。这款模型被誉为“迄今为止最强大的开源扩散大型语言模型”。

Dream7B 的问世，不仅在性能上超越了现有的扩散语言模型，更在通用能力、数学、代码以及规划能力上，比肩甚至超越了同等规模的顶尖自回归（AR）语言模型。这一突破性的进展，预示着文本生成领域或将迎来新的技术范式。

长期以来，以 GPT-4、DeepSeek、Claude 为代表的主流大型语言模型都依赖于自回归（AR）架构，即按照从左到右的顺序逐个生成文本。尽管这类模型取得了巨大成功，但在复杂推理、长期规划以及维持长文本连贯性方面仍面临挑战。

Dream7B 的核心在于采用了离散扩散模型（Discrete Diffusion Models， DMs）的创新架构。与 AR 模型不同，扩散模型从完全噪声的状态出发，通过逐步精炼的方式并行生成完整的文本序列。这种根本性的架构差异带来了诸多显著优势:

近年来，扩散模型在语言任务中的潜力日益凸显，例如 DiffuLLaMA 和 LLaDA 等模型已经将扩散语言模型扩展到70亿参数。此次发布的 Dream7B 正是在这一趋势下的又一里程碑式成果。

Dream7B 在多个关键能力上展现出惊人的实力:

Dream7B 的成功并非偶然，其背后蕴含着研发团队的诸多创新:

与自回归模型固定的从左到右生成方式不同，Dream7B 的扩散模型架构赋予了其更灵活的推理能力:

目前，Dream7B 已经开源了其基础模型和指令微调模型的权重，代码也已在 GitHub 上公开。这无疑将极大地促进扩散模型在自然语言处理领域的进一步研究和应用。华为诺亚方舟实验室和香港大学自然语言处理组也表示，未来将继续探索扩散语言模型更先进的后训练方法。

产品入口：https://top.aibase.com/tool/dream-7b