HandsOn · 上交组会2026年11月17日

本周计划与完成情况

建立训练 baseline ✓ 已完成

从同一20k checkpoint续训5,000步,建立均匀采样 baseline。

跑对照组并比较成功率 ✓ 已完成

完成四种权重方案及对照评估,每组160次;对比成功率与权重曲线。

分析成功与失败轨迹 ✓ 已完成

分析1,318条轨迹(500成功、818失败),按过程分类并配代表视频;重建首次抬起姿态。

Chunk-level Data FlywheelHandsOn · T43 剪刀任务

§1哪些动作片段值得多学?

把同一条轨迹的视频与三种实际采样权重对齐,查看高权重落在哪里。

trial-086 · 抬起剪刀后完成三次有效闭合
同一成功轨迹的注意力Q90、几何median30、进度median15真实训练采样权重
Attention Geometry Progress
图 1. 红线:三次有效闭合(4.367 / 4.933 / 5.367 s);蓝虚线:2.600 s 判定完全抬起。
浅蓝区:原生判定已完全抬起(2.600 s 起);浅黄区:缺分取中性基础分。

注意力 Q90 [1]

对一个chunk的30个预测位置计算交叉注意力熵,取第90百分位数。熵较高表示注意力分布更分散。

采样直觉:后续动作越拿不准,这段经验越值得多学。

几何 median30 [2]

比较去噪过程中动作生成速度的变化,得到完整30动作的几何量;再沿执行轨迹取最近30帧的中位数。

采样直觉:动作生成越“犹豫”,这段经验的权重越高。

进度 median15 [3]

用训练好的线性探针,从内部表征读出剩余进度;计算当前至30帧后的进度增量,再取最近15帧增量的中位数。

采样直觉:推进任务的片段多学,停滞片段少学。

三种方法如何计算采样权重
三种采样权重的实际计算流程从模型内部信号计算局部统计,再统一映射为采样概率。Attention Q90末次去噪的 action → prefix跨头平均、跨层求和mask 后按 prefix 质量归一化局部统计Hⱼ = −Σ pⱼₖ log pⱼₖj = 1…30 个预测位置qₜ = Q90(H₁,…,H₃₀)Geometry median3010 次去噪速度 vₛ归一化动作坐标,去除 padding速度差分 ÷ 去噪时间差局部统计GeoAAC 时间加权几何量取完整 30 动作的 gₜqₜ = median(gₜ₋₂₉,…,gₜ)Progress median15final prefix 的 mask 均值标准化 → 线性剩余进度 τ按 episode 做 5 折交叉拟合局部统计aₜ = τₜ − τₜ₊₃₀qₜ = median(aₜ₋₁₄,…,aₜ)缺失首 14 帧及末 30 帧共同映射 · 88,931 个训练起点r = (平均排名 − 1) / (有效数 − 1)b = 0.2 + 0.8 r² / mean(r²)缺失统计取 b = 1;u = b / 轨迹时长加权采样 → 续训 5,000 步训练概率 Pᵢ = uᵢ / Σu曲线展示 wᵢ = uᵢ / mean(u)有放回采样;同一模型和优化器起点

439条专家+40条成功轨迹共同标定;61条验证专家和失败轨迹不进入标定池。三种方法分别排名,统一采用有放回加权采样。

公式、边界与代码来源

注意力取最后一次去噪的action-to-prefix概率,跨头平均、跨层求和,mask后重新归一化,再计算30个预测位置的熵Q90。

几何:Δvₛ / (|Δtₛ|+ε),在动作维求平方和、沿horizon累积开方;用归一化的s(1−s)²加权去噪阶段变化,再除以各去噪速度的累计范数。取完整30动作的几何量gₜ,沿轨迹计算median(gₜ₋₂₉,…,gₜ)。前29帧缺分。

进度:final prefix按mask均值池化;训练折均值与标准差做标准化,线性探针以L1损失预测剩余比例τ=1−t/T,held-out MAE选epoch。按episode做5折交叉拟合。aₜ=τₜ−τₜ₊₃₀,再取尾随15帧中位数;本轨迹首14帧、末30帧缺分。

共同映射:有效训练起点以平均排名得到r;基础分b=0.2+0.8r²/mean(r²)。缺分取b=1;再除以轨迹时长T,最后归一化为概率P。图中权重w的训练池均值为1。

信号实现:chunk_diagnostics.py、chunk_signals.py、score_chunk_rollouts.py;统计变体:transform_audit.json;采样配置:experiment-plan.json。闭合取native env.step的cut_count增加,完全抬起取fully_lifted首次为真,均采用动作执行后的step/30;视频帧记录在动作执行前。第三次闭合位于片尾。

流程组件:OpenUI官方docs/components/diagram-kit.tsx(27bd885612d2),复用DiagramFrame、CodeNode、Arrow、PathArrow;组件源码与许可证随页面保存于source/vendor。Open Intelligent UI本地版本未提供独立流程图组件。

Chunk-level Data Flywheel统一续训 · 权重消融

§2曲线更符合直觉,训练是否更好?

固定训练数据与续训设置,只比较不同采样方案。

用户提供的成功率变化原图:注意力加4.38,原始几何和进度加1.88,几何median30减3.75,仅时长减0.63个百分点

同一套实验条件

数据
439条专家+40条成功rollout;61条验证专家独立。
训练
同一20k checkpoint续训5,000步,沿用优化器,学习率5×10⁻⁶。
对照
均匀采样、仅时长调整;原始几何用于检查median平滑的影响。

注意力的合计结果最好;
几何平滑没有带来收益。

素材与证据

视频:success-data/datasets/trial-086,seed 400916633;权重:attention_q90.npz、geometry_median30.npz、progress_final_median15.npz,均为success-ablation-v1。曲线以episode=seed、start=0…160逐点对齐,未重新评分。统计来自POOLED160_COMPARISON。原始材料保存在G1的t43-success-chunk-ablation-20261112实验目录。

页面沿用reef-acoustics-talk的Header / SecHead / Caption / Footer排版结构,适配连续HTML与窄屏;无合成实验素材。

案例分析

原20k · 1,318条:500成功 / 818失败

首次抬起 · 手与剪刀

成功39条首次抬起
失败69条首次抬起
HandsOn · 下周计划下次组会 · 11月24日

下周计划

成功轨迹 → waypoint

让分析 agents 读取成功轨迹并提取 waypoint;在高权重采样点输出 waypoint,驱动机器人运动到对应位置。

三个任务混训

从 HandsOn 选三个任务,每个任务采集50条 rollout 用于训练,共150条,减少单任务 overfit。

采样权重与数据配比

继续探索更符合直觉的采样权重;训练数据配比暂定1:1,结合论文研究配比问题。

附录

首次抬起姿态分布

116条轨迹中108条抬起:39条最终成功、69条失败;8条未抬起。

打开108条真实CAD姿态交互 ↗

真实CAD姿态例图
真实CAD姿态例图 · PDF
手掌相对剪刀的位置分布
手掌相对剪刀的位置分布 · PDF
手指—孔眼三簇

39条最终成功轨迹的首次抬起姿态,分为18 / 17 / 4条。

打开双孔对齐交互:三簇、全部姿态与均值点 ↗

C1 · 18条 · 手指—孔眼坐标分布与均值
C1 · 18条 · 手指—孔眼坐标分布与均值 · PDF
C2 · 17条 · 手指—孔眼坐标分布与均值
C2 · 17条 · 手指—孔眼坐标分布与均值 · PDF
C3 · 4条 · 手指—孔眼坐标分布与均值
C3 · 4条 · 手指—孔眼坐标分布与均值 · PDF

最大簇真实代表:seed 2098591075,frame 81,2.70 s;当帧双柄接触成立。C1当帧双接触10/18。

K选择与方法
K=2…6;K=3轮廓系数最高,0.273388
K=2…6;K=3轮廓系数最高,0.273388

5指各取link3、link4、tip,共15个坐标系原点,分别在固定孔与活动孔坐标系中表示,得到90维特征;整体除以√30,不逐维标准化。KMeans:n_init=100,random_state=20261117。

孔中心取真实OBJ投影内孔的面积质心。前两簇只差1条,频数不代表唯一最优抓法;最终成功不等于首次抬起已稳定抓牢。均值是关节/指尖坐标系原点均值,不是可执行平均手或皮肤接触点。

方法说明 · 完整数值 · 均值坐标CSV