RESEARCH RESULTS / WRITING SNAPSHOT · 2026-11-09 UTC
让每个数值,都能回查。
原论文实验、Qwen3.5 / Qwen3.8、DeepSeek 与算子跨软件栈补充。查阅公开结果指标,按来源和 JSON Pointer 提取数值,再结合实验配置、覆盖范围与报告引用。
本页仅公开结果指标、配置、覆盖范围、报告与科学图。历史 ZIP、原始张量及完整执行日志在本地保留,不提供在线下载。本地证据索引与 SHA256可用于识别归档。失败、未验证项和空验收阈值继续保留,哈希完整性不表示数值验收通过。
引用与统计口径 / Citation and scope
本地历史 ZIP 的校验器仅检查其声明的字节或数学范围,不随本页发布。source_sha256 指向原始源文件,export_sha256 指向移除私有连接信息后的导出 JSON。原始数组回放记录保留在私有案例中。
完整测评指标结果包 · 2026-11-10
汇总现有40个结果来源、117899个精确数值字段,包含DeepSeek主线及已有Qwen/算子对照材料。保留全部来源配置、指标、覆盖范围、失败与12项科学缺口,未重跑模型。
公开 JSON 与 CSV 提供来源目录和数值索引,报告和科学图保留各自适用范围。历史补充包及其校验器留在本地。数值字段含配置/计数/相关观测,不等于独立实验数;原主机完整原始张量目录不随指标包复制。
DeepSeek NPU512 物理缓存补测已完成 · 2026-11-10
连接恢复后,已在同一 TP8/EP8 Engine 完成四次512-token请求:全段及253+259分段各配对控制/采集组。8个rank原始数组、独立隔离回放、原主机重算及精确清理均通过;下方GPU快照中的“NPU待连接恢复”为历史状态。
2304个状态环物理行写入逐值精确,96项原始compressor/indexer别名通过;控制组与采集组的完整词表head字节相同。全段与分段末四位置logits仍有差异,RMSE为0.4059744611614696。360个pool/norm诊断为描述性结果,无验收或缓存等价结论。
本次有限范围补测完成,整体科学覆盖仍未完成:原始GPU191/275、NPU269/275、另行adaptedpaired275/275及原12项科学缺口均保持;不据512观测宣称32K/all40、opaque kernel逐访问、backbone训练或硬件独因。定时任务保持暂停,旧快照与包保留。
DeepSeek GPU 物理缓存与 Core 生命周期补充 · 2026-11-10
C1 的 512 个物理缓存快照、1,408 个原始字节数组,以及 C2 的 32K 历史 / 8 个选定层 / 末四位置同一 live 链,均已完成原始数学与本地隔离独立回放。C1 与 C2 使用不同 Engine;非零缓存、logit 与 FP64 差异按原值保留,TP 副本不计作独立样本。
新 Core 生命周期补测将案例清理调用的原生等待预算从默认 5 秒改为 60 秒;原生清理实际耗时 9.486 秒并返回。严格生命周期、128-token 有界数学复核和精确 namespace 清理均通过。parent/Core 映射关闭与 data worker 的 live-alias 保留记录分列;旧 Core77 缺失和 Core117 强制退出证据保持原样。
NPU 物理状态补测仍待 SSH 连接恢复,尚未启动。整体任务未标完成,定时任务保持暂停。原 GPU 191/275、原 NPU 269/275 与另行 adapted paired 275/275 单列,12 项既有科学缺口保留;没有数值验收阈值、物理缓存等价或硬件独因结论。新完整写作包保留历史内容并加入英文报告、双语索引、三种科学图格式及逐字段数据。
DeepSeek 原生服务数值复核与写作整合 · 2026-11-09 UTC
SGLang 277 项任务跨五个 Engine 生命周期;vLLM 216 项任务在八张 H200 的同一 TP8/EP8 Engine 执行。原始全量复核与独立回放均已完成:vLLM 的 820 行完整词表数组已在本地独立回放;3,168 个目标与 24 个选择项分量由固定原主机全量原始审计导出。原 GPU 191/275、原 NPU 269/275 与另行适配 paired 275/275 保持单列。
精确 namespace 清理已核验;Core77 最终恢复回执缺失,完整 worker 恢复未获证明。12 项科学缺口仍在报告中。服务分段不是物理 reference cache 等价,输出头研究不是主干训练。写作包含新英文报告、标准科学图与逐字段定位;包内校验器不冒充原始模型数值复算。
DeepSeek 适配核心库存 275/275 · 2026-11-09
新增适配配置已完成 275/275 配对复核:191 项原始结果复用,新增 78 项真实多 token 缓存与 6 项显式 mask 转 packed 请求。共 110,062,080 个配对元素,40 层真实 post-FFN 四路 mHC 流保留;原 191/275 记录继续作为历史快照。
推理 full / chunk / token 的保留位置 top-1 一致为 264/264、264/264、144/144;结构化 full / chunk 为 36/48、37/48。固定相同 teacher 历史的 32 步为 29/32。GPU 在线输出头 LoRA 已完成 4 rank × 95 次真实完整冻结主干前向,83 次 rank-0 更新和 12 次保留输入评估经独立 FP64 回放;冷启动与 checkpoint 续跑状态逐位一致。
这是适配配置的核心库存覆盖及 GPU 输出头训练结果。权重、激活算术、TP 与部署不同,不能据差异归因硬件;没有精度验收阈值。输出头更新不代表主干反向或 Trainer/TRL/verl 训练。双侧输出头训练与注意力独立补充见下节;原生服务最终结果将分别追加,不把本节记为全任务完成。本地历史 ZIP 含英文报告、两张科学图、精确 JSON、逐坐标 CSV 和导出完整性校验器。
DeepSeek 保留原生 Query + Key / Cache → QLI 选择 · 2026-11-09
2K / 32K、L2 / L20 的 4 个相关 capsule 完成新的原生 QLI 选择:串联保留的原生 query 与生产者 key/cache,不重载模型或重跑投影。每条仅末尾 4 个 query、全部 32 逻辑头;共 16 个 query、52,224 行已完成 key。离线包含全部 20 源数组、74 组实际数值 / 原生字节对,并重构全部 60,709,632 缓存字节。
独立参考先作实际 INT8 的 INT64 精确点积,再按实际 FP16 query/cache scale 与 scaled weights 作 FP64 计算;不是原生累加模拟或原生完整 scores。16 组 top512 与稳定参考集合的重叠为 11×512、4×511、1×510;5 组不符合独立参考边界。原生自己的完整 scores 不可用,不能据此认定原生 top-k 缺陷或数值验收。
L2 是普通 mode3;L20 仅候选生产者 mode1,未证明 mode2 消费者。32K L20 的 top2048 块重叠为 2048 / 2047 / 2047 / 2047。2K L20 仅 256 个可见块,全部选中是平凡全选检查,不是有区分力的 top2048 精度。派生参考共 208,896 坐标,其中 208,876 有限、20 因果屏蔽;原生未命名第二返回仍为空 BF16 [0]。
跨运行序列化、ratio2 completed-M、末尾 query 与构造器 scaffold 的边界保留;不代表同一活张量、完整上游或整模型、参考物理 cache 别名、TP、训练、Trainer / TRL / verl 或服务完成。原生 40.43474229704589 秒、实际峰值 158,717,952 字节;512 MiB 是分配后高水位检查,不是预留或稳态性能。清理审计为 0 所属进程、16 空闲芯片、OOM 0;整体任务仍未完成。
ZIP 内 REPORT.md、native-query-key-selection-scientific.png / .pdf / .svg、NumPy verify.py 与 14 项语义负控;原包字节保持不变,外部 manifest SHA 是可信锚。
DeepSeek 保留原生 Compressor 输出 → Key / Cache · 2026-11-09
2K / 32K、L2 / L20 共 4 个相关 capsule 已完成新的原生 key/cache 阶段。它读取保留的原生 completed BF16 输出;完整私有复核覆盖 52,224 行、6,684,672 个 key 坐标,生产者与消费者输入字节相同。原生 35.22746559395455 秒、实际峰值 213,138,432 字节;512 MiB 是分配后高水位检查。
FP64 公式 → FP32 → BF16 RNE 参考分别有投影 336、归一化 64、RoPE 44 个坐标不同。INT8 相对导出 FP32 scale 的 FP64 除法 / RNE 参考有 5,847 个坐标不同,均为源值精确 half-row-maximum 边界,最大整数差为 1。缓存 60,709,632 字节及基线 / 采集 SHA 全部一致;这不表示所有算术数组相同。
两种反量化口径分别列出:导出 FP32 scale 重建,以及实际缓存 FP16 scale 反量化。N32768 / L20 的最大绝对误差分别为 0.01273374818265438 / 0.0127716064453125。离线包只重放 256 个实际投影输入选点(32,768 个输出坐标),并重放全量新归一化 / RoPE / 量化 / slot / 缓存;完整私有投影复核与便携抽样结果分别保存。
这是跨运行序列化交接;ratio2 使用 completed-M 适配,不代表同一活张量、完整上游、整模型 N 行几何或缓存别名。原 L2 严格 VJP 失败保留;query、scores / top-k、TP、主干训练与 Trainer / TRL / verl 不计入本节。没有精度验收阈值或硬件因果结论,整体任务仍未完成。
ZIP 内报告为 REPORT.md,科学图为 native-key-cache-scientific.png / .pdf / .svg;保留原包字节,12 项语义负控及独立 CPU 回放通过。完整生产者输入与原始大缓存保留在私有案例。
DeepSeek 适配 HTTP:128 次请求与历史核心对照 · 2026-11-09
同一 TP8 服务已完成 128 次既定请求,保留 128 × 129,280 的生成位置完整词表分布,共 16,547,840 个坐标;3,168 个计划 target 标量与 24 个候选 token 项合计 3,192 个标量,18 条候选序列分属 6 组。其中 9 条输入历史达到 32,768 token(6 条 long、3 条 structured)。复核与导出复用原请求,没有重复运行。
普通 full-prefill 的 78 个末位置相对历史适配 NPU 核心,top-1 一致为 78/78,由完整词表归一化分布导出的 top100 并集加尾部合并 JS 最大值为 1.4268220011713432e-13。32 个固定 teacher 历史在 HTTP 中重新 prefill,相对历史 cached 调用为 27/32,由完整词表归一化分布导出的 top100 并集加尾部合并 JS 最大值为 0.03209886705453027;两组分别报告。相对原始 GPU 核心,普通组为 75/78,teacher 组为 26/32。
3,168 个 target 相对历史适配 NPU 的 logprob MAE 为 1.924259257603722e-06 nat,最大差为 0.0028981400788721245 nat;相对原始 GPU 的 MAE 为 0.2803154567828166 nat,NLL 为 1.9395359408692914 / 1.9448921572733036 nat/token(GPU / HTTP)。6 组候选的首选相对两套历史核心均为 6/6;18 个候选末位置没有历史完整分布,未计入 110 个配对分布。
本节完成的是适配 HTTP 请求范围及独立序列化数值复核。词表分布为原生归一化 logprob,Float64 是存储格式;没有据此推断计算精度或精度验收。ZIP 含全部 128 个 NPY、3,192 个标量、逐请求数学记录、英文报告、科学图和离线校验器,未包含原始响应 JSON 或两套历史参考数组。原 191/275 与独立适配 275/275 记录保留;原始默认未分块 32K、cached teacher 等价、主干反向及 Trainer/TRL/verl 仍有缺项;GPU vLLM/SGLang 服务数值复核见本页新汇总,差异不能单独归因硬件。
DeepSeek GPU / NPU 输出头训练与续跑 · 2026-11-09
两侧均完成每 rank 95 次真实完整冻结主干前向:GPU TP4 共 380 个 rank 调用,NPU TP8 共 760 个。rank 0 各保留 83 次更新和 12 次保留评估,公式、优化器状态、各自冷启动与 checkpoint 续跑、三次 offset-0 重复轨迹均经独立回放核验。
新增 95 行同历史 / teacher / offset / repeat / 分支 / 更新坐标的配对明细,完整 129,280 词表归一化,附英文报告、两组 SVG/PNG 科学图和离线校验器。步骤、重复和恢复分支是相关观测,不能算作 95 个独立输入样本。
范围是 FP32 rank-2 LoRA 输出头与 AdamW 更新,主干始终冻结。相同 seed 的初始 A 也并非跨运行时逐位相等(offset 0 最大差 1.6763806343078613e-08),B 为相同零值;后续参数沿各自轨迹演化。该结果不代表主干反向、Trainer/TRL/verl 完成,也不能单独归因硬件。真实原生服务数值复核已纳入本页新汇总,主干训练缺口仍保留。
DeepSeek 真实完整模型内的全 40 层 Attention 回放 · 2026-11-09
已核验 8 rank 的 193,872 个保留原始数组及真实缓存依赖、分页与别名。rank 0 全 40 层 × 12 次实际前向的末 4 个 query,完成 480 组层级前向比较、15,360 个 query-head 向量的独立 FP64 QK → 含 sink softmax → PV 重建。
最大绝对残差为 0.010597425985962694,最大层级前向 RMSE 为 0.0008772552083595631。图按每层 12 次前向展示 min / median / max;这些相关坐标不作为独立样本,也没有精度验收阈值。FP64 不模拟原生累加舍入,残差不直接证明内核缺陷。
数组完整性覆盖全部保留的 8 rank;数学回放覆盖全部已保存的 rank-0 query,未保存的位置及其他 rank 算术不计入该范围。原始 7.4 GB 数组留在原机器,写作包保留精确指标、480 条层级记录、40 层绘图数据、英文报告、SVG/PNG 与离线校验器。训练与服务结果继续单列。
DeepSeek 独立进程补充 · 2026-11-08
在 NPU 适配 BF16、TP8/EP8、offload48、Engram mmap 和固定种子配置下,3 次独立模型进程对 128 / 2048 token 两个固定输入产生完全一致的完整词表末位 logits。6 项跨进程对比的最大绝对误差为 0,对应原生数组字节也完全一致。
48 项进程内对比、84 项 rank 间对比均一致。两条固定输入是样本单位;rank 副本和两两对比不是独立样本。范围仅限该推理配置,训练、全局确定性及其他缺项仍单列。原写作快照保留,新增数据可从独立 JSON 爬取。
DeepSeek 原生 Indexer 补充 · 2026-11-08
单卡原生选择阶段已完成 L2 / L20 × 2K / 32K 四组测试,使用全部 32 个复制头。16 个相关查询中,13 个 top-512 集合与独立 FP64 INT8 反量化参考完全一致,其余 3 个各差 1 个索引;与原 GPU 结果的集合重合为 497–511/512。
查询量化与索引整理已精确回放。GPU/NPU 量化算术不同,FP64 参考不模拟原生累加舍入;原生未提供完整 scores,不能将边界差异判为内核错误或验收通过。范围仅限投影后选择阶段,完整模型等缺项及原写作快照继续保留。
DeepSeek 真实输入 Compressor / 局部梯度补充 · 2026-11-08
已用同一条 2K 历史的真实隐藏状态与原始 FP32/BF16 权重,完成 L2 / L20 原生 compressor 重放。对应 latent 的最大绝对差分别为 0.0078125 / 0.015625,RMSE 为 3.06031e−5 / 2.05272e−4;两层原生采集前后输出逐位一致。
7 组局部梯度已与独立解析参考比较,6 组有界尾部 pool / RMSNorm 的 BF16 舍入参考完全一致。L2 pool/norm 严格反向调用被拒绝,原始错误保留。这里只是一条固定历史及两个相关层,32K 与完整模型训练仍待补;严格覆盖仍为 191/275,无精度验收或硬件归因结论。
DeepSeek 32K Compressor / 原生 Key-cache / 梯度定位补充 · 2026-11-08
32K 原生 compressor 已完成 L2 / L20 真实输入重放,latent 最大绝对差为 0.0078125 / 0.03125,RMSE 为 3.23089e−5 / 2.12049e−4;两层采集控制均逐位一致。另完成 2K / 32K 原生 key 投影、归一化、RoPE 与私有分页缓存,原始 INT8 / FP16 缓存写入及保护区已精确回放。
L2 反向边界已进一步定位:保留的四行同点诊断中,projected-kv / scores 梯度返回 None,norm.weight 梯度有效且 512 项 BF16 舍入预测一致。32K 另有 7 组局部梯度与独立解析参考比较。
2K / 32K 是同一冻结输入族的长度视图,层与尾部坐标相关;key 使用 GPU 捕获的 compressor latent 完整已压缩行,尚未形成原生 compressor→key 端到端链。GPU FP4 与 NPU INT8 算术不同。完整 query / 模型缓存别名及全模型训练仍单列,严格配对覆盖仍为 191/275;以下是独立新版,早期快照的“待补”描述保留为当时状态。
DeepSeek 原生 Query / Head weights / RoPE 补充 · 2026-11-08
已复用 GPU 四个 TP4 rank 的真实捕获,完成 2K / 32K 历史、L2 / L20、尾部 4 个位置与全部 32 heads 的原生 query 投影。四组最大绝对差为 0.5 / 0.6875 / 0.46875 / 0.4453125,RMSE 为 0.0583814 / 0.0624787 / 0.0581685 / 0.0626034。
Head-weight 投影三组逐位一致,另一组仅一个值不同(最大差 7.62939e−6)。四组原生 RoPE 与独立 BF16 舍入预测完全一致;query 的独立参考为 65,533 / 65,536 项一致,另 3 项相差一个相邻 BF16 值。基线与采集结果逐位一致,原生运行 33.425 秒,峰值分配 66,206,208 字节,进程和设备清理已复核。
GPU query 使用 FP8 激活量化 / GEMM,原生使用反量化后 BF16 权重与未量化 BF16 GEMM,差异属于配置比较。直接 GPU 捕获参考只有 pre-RoPE query 与 pre-scale head weights;RoPE 是原生输出与独立数学参考比较。只覆盖 tail4,尚未覆盖全历史 query、量化 query、scores/top-k、完整 attention、整模型缓存别名或全模型训练;严格配对覆盖仍为 191/275。无数值验收或硬件归因结论,早期快照保留。
DeepSeek mode2 候选筛选组件补证
已独立复核原生 NPU mode2 的同层序列化输入试验:完整 32K 键缓存、4 个查询、每查询 512 个选中位置。与 INT64 点积后按实际 FP16 scales/weights 进行 FP64 公式复算的集合重合数为 512 / 512 / 511 / 511。原生完整分数未保留,差异为描述性诊断,不是算子错误或通过阈值。
该组件使用第 20 层保留的候选,不代表真实跨层链、完整 Attention、完整模型训练或服务覆盖。真实模型跨层记录见下节;同层组件与真实跨层结果分别列明,均已纳入当前写作快照。服务链路仍在推进。
DeepSeek 真实跨层 selector 补证
已对原生完整 40 层模型中保留的 6 次前向、30 条 selector 记录、120 个查询实例进行两套独立数学复核,共 1,740,800 个派生分数坐标。包含第 20 层候选到第 24 / 28 / 32 / 36 层的真实跨层链,以及短历史全可见候选和 32K 选择性候选分支。
仅覆盖 rank0 各次前向尾部 4 个查询;原生完整分数没有保留,FP64 公式复算不等于原生累加。单次 32K 使用适配配置,原默认单次 32K 缺项仍保留。下载包包含脱敏指标、图及字节/CSV 校验器;独立原始数组数值回放证据保留在私有案例,未放入此包。本项已纳入当前写作快照;服务终态及数值汇总见本页新服务报告,科学缺口保持明确。
论文关键结果
以下是可直接追溯的选摘;引用时请一并保留每项的配置与范围。
查询数值
数值字段包括测量、计数、配置和相关观测。未注明单位的字段请查来源上下文;不要把字段数当作独立实验数。
正在载入结果…
| 来源 | JSON Pointer | 精确数值 | 单位 | 上下文 |
|---|
来源与配置
每个来源保留完整嵌套指标、适用范围和版本上下文。可独立下载或查看。