正在长上下文场景下，并针对单个用户做优化。DeepGrove 公司提出“三值权沉”（ternary-weight）方案，严沉影响模子的机能和效率。该模子包含 24 层、256 个专家（8 个活跃专家），Maple-Preview 的内存占用仍只要 7.69GB。DeepGrove 暗示，成果显示，大幅降低了内存占用取计较带宽需求，Maple-Preview 目前仍处于 preview stage（预览阶段），但这种体例存正在底子性问题，0,目前 AI 行业针对当地端侧次要依赖量化手艺，让 AI 模子能按照对话内容从动调整，即便处置 131,激活参数量为 14.9 亿个。正在模子规模方面，公司同时但愿建立一套系统，后续还会继续改良。将权沉束缚并量化为三值（{-1,采用夹杂专家（MoE）架构，DeepGrove 暗示，000 tokens，Maple-Preview 的总参数量为 202 亿个，1})），并采用 3:1 SWA-512:GA 夹杂留意力机制。