weight-masking-experiment — 神经网络训练动态研究

返回项目列表
weight-masking-experiment — 神经网络训练动态研究
已发布
Python/PyTorch/TinyViT/实验

模拟「机能不全 → 健全」的训练过程:前期约束网络、后期逐渐放开,类比大脑发育。CIFAR-10 上 Fixed Mask 达到 82.69%,反超 Baseline 1.65%。

想法从哪来#

人类婴儿的大脑并不是一上来就全功能可用的,很多能力是随着发育逐步「解锁」的。那如果反过来——训练前期刻意让网络机能不全,后期逐渐放开,会不会得到更好的结果?

这个实验就是在模拟这个过程:给网络施加约束(激活层 / 权重层),然后按计划逐步解除。

实验设计#

  • 框架:TinyViT + PyTorch(AMP 混合精度)
  • 数据集:FashionMNIST(先验证)→ CIFAR-10(主战场)
  • 对比组:激活层约束(dropout / noise)、随机 mask、固定 mask、Baseline

结论#

方案FashionMNISTCIFAR-10
Baseline88.6%81.04%
激活层约束≈ Baseline≈ Baseline
Fixed Mask87.79%82.69%(+1.65%)

几个值得记的观察:

  • Transformer 对激活层扰动极其鲁棒——dropout / noise 这类约束基本等于没做
  • 固定 mask 优于随机 mask:「固定的机能不全」比「每次随机重新受伤」更有效
  • 数据集越难,效果越明显:CIFAR-10 上直接反超了 baseline,猜测可能更适合具身智能这类复杂场景
  • SVD 截断仍然是硬伤(数值崩塌),需要重新设计(warmup / 分层 / 慢 rank 增长)

早期一版结论说「权重层面操作太暴力」——那是 bug 导致的误判,修完反而反超了,已在仓库里更正。

Profile Image of the Author
热尘
游戏开发者 · AI 爱好者
公告
欢迎来到我的博客!这是一则示例公告。
分类
标签
站点统计
文章
38
分类
5
标签
12
总字数
46,029
运行时长
0 天
最后活动
0 天前
站点信息
构建平台
GitHub Actions
博客版本
Firefly v6.16.8
文章许可
CC BY-NC-SA 4.0
文章目录