研究空间 / 领域与项目总览内容核对 ↘
TABULAR FOUNDATION MODELS

从领域理解,
走向下一步研究。

理解表格基础模型的路线与证据,连接模型、数据和通用技术。这里逐步积累项目经理 agent 所需的知识:目标、问题、项目关系,以及每次判断的来路。

长期目标理解可迁移的表格学习能力
当前连接模型 · 数据 · 通用架构
这一小步把每件事放回研究全局
RESEARCH MAP

三个项目之外,还有完整的研究生态。

外部竞技场、数据生成包与 API、模型、推理服务、关联论文:按研究环节看它们的作用,按维护方看怎样衔接。

理论与机制 ↗数据与任务 ↗预训练与适应 ↗评测与比较 ↗应用与交付 ↗
浏览 9 个事项与关联问题 →
01 / OUR PAPERS

正在形成的研究脉络

两篇 arXiv 预印本,一篇在写续作。
从学习对象,到 token 如何参与计算。

OTRANSFORMER · 前序arXiv 预印本

让零向量真正不参与计算

From Attention Masks to Inert Zero-Vector Tokens: OAttention and O-Closure for Token Dynamics

Heyang Gong · arXiv v1 · 2026.08.21

让 token 的状态携带参与程度,构造零向量可作为零元素的 OAttention,并通过 O-Closure 将这一性质延伸到完整 OTransformer。

这篇回答什么,连接到哪里?

Attention mask 控制“谁可以与谁交互”;这篇进一步研究,一个 token 能否因自身状态而不参与计算。它为可组合的零状态语义提供结构基础,也成为后续可学习参与研究的起点。

文中的算子与迁移实验支持各自限定范围内的性质;不据此声称任意模型无损转换或普遍预测收益。

UNIT · 学习基础arXiv 预印本

把“谁产生了观测”纳入学习

Toward Machine Learning with the Unit as a Primitive: Learning from Unit-Linked Events

Heyang Gong · arXiv v1 · 2026.08.25

把持续存在的 Unit 明确为任务语义中的基本对象,连接同一主体的多次事件、Unit 条件下的响应规律,以及由观测形成的 contextual unit token。

这篇回答什么,连接到哪里?

当多个观测来自同一主体时,只有独立 samples 的描述会遗漏什么?论文区分任务中的 Unit、世界中的响应规律与学习器中的 token,并讨论已知身份的直接访问和身份未定时的 unit abduction。

它为 TabU 的学习对象与证据组织提供基础视角;正式结果针对文中声明的监督学习设定。

OTRANSFORMER · 续篇撰写中

学习一个 token 如何参与

OTransformer with Learnable Participation

Heyang Gong · 概述核对 · 2026.09.12

从固定 presence 规则走向可学习的参与读出:哪些状态特征决定 token 的对外贡献与自身更新?Attention 和 FFN 分别学习,同时保留残差内容通路。

展开续篇的研究简介

连续、具有方向选择性的参与调节是一般机制。共同核上的零作用定理进一步保证:在相容交互下,这些状态的内容不变,也不影响其他输出。它没有要求训练一定产生有用的非零惰性状态。

当前文稿聚焦架构、结构分析与参考实现验证。预测收益、学得的有效不参与和计算节省仍待研究;尚未提交 arXiv。

它们怎样连接? Unit 论文澄清学习所面对的对象;OTransformer 两篇研究 token 的参与机制。这些工作为表格基础模型提供理论与技术来源,也保留各自在更广泛机器学习中的研究范围。

02 / RESEARCH FOCUS

现在,关注这三个问题

点开问题,查看已有理解与下一次需要的证据。

01已有专题 · 待研究回应预训练究竟带来了什么可迁移能力?从“能预测”走到“学到了可迁移的东西”。

当前理解

固定参数后使用 context,既可能来自训练,也可能来自终端本身的 support 使用方式。需要把预训练收益、推理时适应和目标表微调分别看清。

下一次需要的证据

由模型项目判断何时比较训练后模型与初始化对照,再分别检验相同世界的新行、未见世界与留出机制。一次固定表拟合不能回答全部问题。

02交接问题 · 尚待接入数据覆盖与 episode,下一步先补哪一层?先分清来源、世界、行与任务,再讨论数据规模。

当前理解

TFM-Data 负责数据供给、身份与任务协议;消费者负责适配、训练和结果判断。同一世界重复抽新行、重新做 mask,都不会自动增加独立世界。

这次交接卡在哪里

2026-09-12 核对:数据包的 typed-fit-table 与 P02 native 入口使用不同 schema。消费者 adapter 及世界级训练、评估接入仍待实现。先保留同表 digest 守卫,再由消费者接入新世界供给。

下一次需要的证据

一次真实消费:数据版本、世界划分、模型输入和评分答案能够对应,再判断任务覆盖带来的收益。

03组织方式 · 从实际使用开始一项新结果,改变了哪个研究判断?把结果放回原问题,也留下相反证据与未解之处。

当前理解

这里提供跨路线的独立视角;TabU、TFM-Data 与 P02 各自拥有实现和执行决定。知识库需要能解释为什么推进、为什么暂缓,以及什么证据足以改变判断。

下一次使用方式

从一个项目的实际反馈开始:链接原问题与原始记录,说明支持了什么、没有回答什么,再更新领域理解。数据或执行功能的交接也按实际采用逐项发生。

03 / PROJECT RELATIONSHIPS

共同视野,各自推进

总览层连接问题与反馈;具体项目保留自主性。

你现在的位置

Tabular Foundation Models

领域理解 · 独立比较 · 研究问题 · 决策与证据索引

TMODEL

TabU

表格基座大模型

维护表示、模型结构、预训练、frozen ICL 和模型评估。

与总览的连接

接收领域问题,以设计与实验回应;由模型项目决定采用和执行。

打开 TabU-lab 中文入口 ↗
项目记录与公开入口

TabU 项目 README、TAR 数学与模型设计、Small 验证记录保留完整研究上下文。TabU-lab 是公开执行入口,公开页阶段与内部研究进展分别核对。

公开实验记录 ↗
DDATA

TFM-Data

预训练与可信评测的数据供给

维护合成与外部数据、来源与 world 身份、episode 规则和划分协议。

与总览的连接

承接具体数据需求,回流版本与质量证据;Data Atlas 的功能按使用逐项交接。

查看 Data Atlas ↗
当前记录入口

TFM-Data README、共同数据约定、2026-09-12 生成器能力审计。Data Atlas 是领域资料入口,尚不是 TFM-Data 的独立项目网页。

OARCHITECTURE

P02 / OTransformer

通用算子与架构研究

维护 OTransformer 的算子语义、实现,以及不同应用下的机制证据。

与总览的连接

引用与表格学习相关的机制和应用结果,反馈应用问题,保留通用研究目标。

项目记录与应用边界

当前依据 P02 项目 README、通用算子实现与 native TabU-TAR 应用交接记录。独立研究页尚未公开部署;这里先提供职责与关联问题的概览。

表格应用是通用架构的一个使用场景。每个结果按其 checkpoint、协议与评测范围理解。

04 / KNOWLEDGE LIBRARY

带着问题,进入资料

精选已有入口。各材料沿用自己的证据日期。

8 个入口

05 / EVOLUTION NOTES

让每一步留下来路

先使用,再判断什么值得继续维护。

  1. 当前方向

    向项目经理 agent 的知识库迈一小步

    确认领域总览与高层组织职责,建立网页入口。先连接目标、问题、项目与证据;数据及执行功能随着实际使用逐项交接。

  2. 把数据问题放回任务分布

    整理来源、世界、目标、mask、筛选与迁移证据的区别,连接独立的数据供给项目 TFM-Data。

  3. 从旧 P11 实践,走向独立领域理解

    组织预训练与 context 专题,向 TabU 提出三个研究问题;旧模型、实现与实验继续保留其历史身份。

本页依据与更新

总览整理于 2026-09-12,依据本项目 README、已确认的项目定位、两份 09-06 / 09-08 研究专题,以及 TabU、TFM-Data、P02 的当前职责与数据交接记录。论文卡片按两篇 arXiv v1 官方条目和 P02 当前文稿摘要核对;公开日期采用 arXiv 的 UTC 日期。资料区链接到既有网页,内容日期不因本入口更新而刷新。

查看这版入口的范围

这一版是可查阅的知识与项目索引。具体运行进展仍从各项目原记录核对;本页没有自动抓取训练状态,也没有启动 agent 调度。后续从一次查阅或项目反馈继续积累。

本网页是 WeHub owner-review preview;两篇已公开预印本各自保留 arXiv 状态,续篇仍为在写文稿。