OWNER-REVIEW · BROWSER NOTES STAY LOCAL
必读 · 2026-06-03

LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models

Yuanrui Wang et al.
ICML 2026 · peer-reviewed paper · arXiv:2606.04485v2

必读核心模型机制部署
TECHNICAL DETAILS

这份资料下面的技术细节文章

技术文章属于当前资料,不与 P11 研究项目入口平级。

暂无技术细节文章

以后针对这份资料形成的代码解读、公式拆解或机制实验,都会继续落在本资料页下面。

WHY NOW

为什么现在读它

它把精度—效率差距定位到 scalar tokenization 的低秩通道与 attention routing,是 P11 value-token 设计最直接的架构压力。

LEARNED OBJECT

它真正学习或预测的对象

仍是表格预测 conditional;RaBEL 增强数值 token 的局部基函数表示,S→N→F routing 让聚合顺序贴近 readout。

P11 USE

P11 可以从这里拿走什么

在冻结 shared value encoder 前复现 value-sensitivity/effective-rank 诊断,并把 token rank 与 Unit semantics 分开。

EVIDENCE BOUNDARY

不要从这篇论文多推一步

更好的 tokenization 与 routing 不改变预测对象,也不证明 causal、persistent-Unit 或 calibrated-belief semantics。

READING PATH

建议阅读路径

  1. 先读 low-rank collapse 的理论诊断与 affine tokenizer 边界。
  2. 再看 RaBEL 和 S→N→F block 的张量顺序。
  3. 最后核对性能、参数量、训练与推理成本的同口径比较。
P11 INTERNAL MATERIAL

已有项目材料

  • papers/P11-tabular-foundation-models/related-materials/limix-arxiv-2606.04485v2/README.md
MY READING NOTE

我的浏览器便笺

可以马上写、刷新后继续。它不上传到服务器,也不会自动进入 P11 的 canonical source。

尚未读取到当前浏览器中的已保存草稿。

保存边界:只保存在当前 browser profile + 当前 origin。localhost 与 wehub.us 是两份笔记;换设备、隐私模式或清理网站数据都可能丢失。长期保存请导出 Markdown 并回填到上面的 canonical path。