·
字节跳动Seed团队开源了名为Cola DLM的2B级连续潜在扩散语言模型。该模型试图绕开传统大语言模型按token从左到右逐个生成的固定路径,改为先组织高层语义,再落回具体文字。Cola DLM的核心是text VAE和block-causal DIT,前者将离散文本映射到连续潜在空间,后者通过flow matching学习潜在先验,最终由条件解码器将潜在变量还原为文本。该模型包含约23亿参数,其中核心DIT为18亿参数,VAE为5亿参数。在多个评测中,论文称其在统一生成式评测协议下已具备与同规模AR / LLADA基线竞争的表现,并在最终平均分上达到最好结果。当前版本仍为研究型checkpoint,未经过指令微调和RLHF,主要用于研究连续潜在扩散如何用于文本生成。核心意义是打破自回归生成固有局限,开辟大模型文本生成新范式,为低成本高效文本创作、长文逻辑连贯生成提供全新技术路线。
·
易理华在 X 平台发文表示,本轮行情看反弹而非反转,建议采用往上平仓策略。其提及后续可能存在的利空因素包括美股高位正常回调、石油价格对通胀的影响导致降息预期变化,以及美国国债收益率反弹。加密长期前景良好,当前为黎明前的黑暗,深度熊市往往是入场和耐心的机会。其认为 AI 时代利好敢于投资 AI 股的投资者以及 AI 创业者,建议将未来收益的 50%配置在 AI 领域,并称 ALL IN AI 是唯一选择。
Repost this post?
Share with your followers.
Reply