每周技术读物

2878 字
14 分钟
每周技术读物

PS: 上期把 PSO 那条线收到「商店替你预编译」了,这期换条腿走移动端。理由很实在:移动 GPU 的瓶颈和 PC 完全不是一回事——PC 上和 GPU 打架的是指令和带宽,移动上基本只有带宽。

所以这期的组合是:一篇带真实 profiler 数字的 TBDR 实战(新)、一篇决定 C++ 数据布局的经典(2014 旧料)、一篇把「世界状态」和「渲染」拆开的实时游戏模型论文(新)。

本期速览#

#内容领域评级首发阅读
1Unity 6 RenderGraph 应用实战 #3:FrameBufferFetch移动渲染 / 带宽🔥🔥2025-0230 min
2Data Locality(Game Programming Patterns)C++ / 数据布局🔥🔥201440 min
3PlayGen2:显式 3D 状态驱动的实时可玩世界游戏 AI / 世界模型🔥🔥2026-1120 min
4着色器优化入门 #2:什么是 Tile-Based Rendering 的 GPU渲染基础⚪2025-0115 min
5Unity 手册:XR 中的 tile-based 渲染官方文档⚪202610 min
6Modern Mobile GPU Architecture(Arm)硬件架构⚪202630 min(当讲稿看)
7When Generative Models Act as Simulators世界模型⚪2026-1015 min

1. Unity 6 RenderGraph 应用实战 #3「FrameBufferFetch」#

出处#

  • 原文标题:Unity6からRenderGraphを使いこなそう!応用実装編3「FrameBufferFetch」
  • 作者:zhangyubing(チャン ユービン),株式会社 CyberAgent SGE コア技術本部
  • 链接:blog.sge-coretech.com
  • 首发:2025-02-21
  • 类型:一线工程博客(含完整可运行代码 + Metal Debugger 实测数据)
  • 语言:日文
  • 环境:Unity 6(6000.0.38f1)/ URP 17.0.3 / iPhone 14(iOS 18.3)

为什么值得读#

因为它把「省带宽」这件事从口号变成了四个可对照的数字,而且给出了完整的实现路径。

先说机制。移动 GPU 大多是 TBDR(Tile-Based Deferred Rendering):不是画完整个屏幕再算,而是把屏幕切成一格一格(tile),每一格的数据放在片上内存里处理完再写出去。这就带来一个关键性质——一个 tile 内的颜色缓冲,本来就不该被写回主存再读回来。

FrameBufferFetch 就是干这个的:让 fragment shader 直接从片上读取当前 framebuffer,而不是把 RT 当纹理走一遍 VRAM 往返。

用 Unity 6 的 RenderGraph 实现时,关键 API 是这两句的替换:

// 普通做法:当纹理用
builder.UseTexture(source, AccessFlags.Read);
// FrameBufferFetch:当 input attachment 用
builder.SetInputAttachment(source, index, AccessFlags.Read);

shader 侧对应:

FRAMEBUFFER_INPUT_HALF(0);
half4 color = LOAD_FRAMEBUFFER_INPUT(0, input.positionCS.xy);

实测数字(iPhone 14 / Metal Debugger)#

指标用之前用之后
GPU Time6.02 ms5.66 ms
Texture 内存占用117.03 MiB92.78 MiB
内存带宽 Read(峰值)23.26 GiB/s2.35 GiB/s
内存带宽 Write(峰值)11.52 GiB/s2.17 GiB/s

读带宽掉了接近 10 倍。 这就是 TBDR 上的核心收益:不是算得少了,是搬得少了。

同一个变化在 RenderGraphViewer 里长什么样也写清楚了:多个 pass 被合并进上游的 blit pass,中间那张临时 RT 被 MemoryLess 化(不再 Store),读取处带一个 F 标记。

四条限制(这几条最容易踩)#

  • 要 fetch 的纹理,分辨率必须和当前 pass 的 RenderTarget 一致
  • 要读的像素位置必须就是当前 fragment 的位置(不能随便偏移采样)
  • 当前 pass 里已经 SetRenderAttachment 或 UseTexture 过的纹理,不能再 SetInputAttachment
  • input attachment 列表会在绘制前前向压缩——你指定 index 1 但 0 空着,实际身份会变成 0;同一个 index 重复设置不同纹理是报错而不是覆盖

一句话总结:移动端优化的第一性问题不是「少算」,是「少搬」——把 VRAM 往返换成片上读取,一次能省掉一个数量级的带宽。


2. Data Locality(Game Programming Patterns)#

出处#

  • 原文标题:Data Locality(Optimization Patterns 章)
  • 作者:Robert Nystrom
  • 链接:gameprogrammingpatterns.com/data-locality.html
  • 首发:2014(全书免费在线,版权标注 2009–2021)
  • 类型:行业经典书籍章节(一手,附带可运行的示例思路)
  • 语言:英文

为什么值得读#

因为它是那种读完之后你会去改代码的文章。作者开篇就给了一个让人不舒服的事实:CPU 越来越快,RAM 没跟上;今天从内存取一个字节可能要几百个周期。

于是有了 cache line(一次抓 64–128 字节),也就有了「数据怎么摆直接决定性能」这件事。作者自己写了两段计算完全相同、只是 cache miss 数量不同的程序,慢的那段慢了 50 倍。

三个能直接用的手法#

一、连续数组(干掉指针追踪)

反例是教科书式的 OOP 游戏循环:

for (int i = 0; i < numEntities; i++) entities[i]->ai()->update();

每一步都在跳指针:先跳到实体,再跳到组件,实体内存里在哪完全看堆的心情。改成每个组件各一个连续数组,循环直接走数组本体,「-> 少了几次」本身就是判断数据布局好不好的一个廉价指标。

作者实测:这个改法让 update 循环快了 50 倍。

二、打包数据(活跃的排在前面)

粒子系统里给每个粒子一个 active 标志、循环里 if (p.isActive()) ——看似无害,其实犯了两个错:跳过了非活跃粒子(浪费缓存行)、每次 if 都可能分支预测失败。

正解是保持数组有序:活跃的挤在前面,记一个 numActive_,循环只跑到它。激活动作就是把一个空闲粒子换到边界上(O(1) 交换)。附带好处:粒子里连 active 字段都不用存了——位置即状态。

三、热冷分离(hot/cold splitting)

AI 组件每帧都要读能量、目标点,但「掉落物配置」只在死的那一次用到。把它塞在同一个结构里,就是让每帧多搬一堆用不上的字节。

做法是把冷数据拆出去,热结构里只留一个指针。作者也诚实提醒:这活儿介于黑魔法和泥潭之间,真实项目里「什么算热」往往没那么清晰。

它提到的代价#

  • 会牺牲一部分抽象:多态意味着 vtable 跳转 + 指针跳跃,和这个模式天然冲突
  • 多线程要反着来:两个线程改同一 cache line 上的数据会互相拖慢(false sharing),这时候相邻反而是坏事
  • 一切前提是先 profile:Cachegrind 这类工具免费可用(作者推荐),console 团队一般有商业 profiler

放到今天还成立吗?#

更成立了。 内存墙这十几年只陡不缓,ECS / SoA 已经从「极端优化」变成了主流架构。

要打的两个补丁:

  • 实践成本降了很多:std::vector + 结构拆分、现成的 SoA 库、ECS 框架(Unity DOTS、flecs、EnTT)把这套东西工程化了,不再需要手写裸数组和手工 memcpy
  • 多线程普及:原文虽然提了 false sharing,但今天它比 2014 年更常见,热数据结构按线程切分往往是第一优先级

一句话总结:性能不只写在代码里,也写在数据怎么摆上——-> 出现的地方就是你要审问的地方。


3. PlayGen2: Learning Real-Time Playable Worlds with Explicit 3D State#

出处#

  • 论文:arXiv<2611>.07867
  • 作者:Jihai Zhang、Yuhan Zhou、Junyou Li、Deheng Ye、Qi Dou、Yu Cheng
  • 首发:2026-11-05
  • 类型:arXiv 预印本(附代码与预训练权重:github.com/MajorDavidZhang/PlayGen-2)
  • 语言:英文

为什么值得读#

因为它做的判断,和我们做游戏时天天在做的判断是同一个:把「状态」和「表现」拆开。

现在的「视频世界模型」毛病很清楚:把生成的画面本身当成世界状态。于是连贯性全押在「上一帧看起来像什么」上——一旦视角变化或实体交互,长期空间一致性就崩。

PlayGen2 的做法是不拿画面当状态:

  • 世界记忆 = 体素占据网格表示的静态几何 + 按身份索引的 3D 实体状态(玩家、NPC)
  • 一个 world-state 模型在一个固定大小的局部区域里联合学习:动作条件下的实体动力学、几何补全、实体发现
  • 单独的神经渲染器从世界状态的深度和语义投影合成第一人称画面
  • 关键:生成的图像绝不回流进状态预测

结果#

  • 以 Doom 为测试床,学到了动作相关的玩家运动与玩家–NPC 交互
  • 整条模拟 + 渲染管线在 MacBook Pro(M4 Pro)上后端延迟约 160 ms
  • 能零样本迁移到没见过的 Doom 地图
  • 能通过「组合单玩家模型」做多人
  • 能通过规则化的状态干预做可编程玩法

对我们的启发#

我在做的项目里,L0~L10 的分层和「Effect 是唯一状态变更通道」这些约束,本质上是在保证「状态」可被推理、可被存档、可被外部(Agent)读写。这篇论文是同一件事在 ML 侧的版本:

  • 状态是显式的(体素 + 实体状态),所以能干预、能规则化、能多人组合
  • 渲染是消费者(从状态投影出画面),所以不会污染状态

160 ms 的延迟对真游戏还远远不够(这是「可玩演示」级别,不是「能打」级别),但方向值得记住:想让 AI 参与玩法,先让状态可被结构化管理,画面反而是最末端的事。

一句话总结:世界模型的可靠性来自「状态与渲染解耦」——这条原则对引擎架构和神经网络同样成立。


4-7. 选读#

4. 着色器优化入门 #2:什么是 Tile-Based Rendering 的 GPU CORETECH ENGINEER BLOG · 2025-01-27

上面第 1 篇的前置必读。TBDR 的基本机制、以及 Unity 传统做法和 Unity 6 做法里访问 framebuffer 的差别。先看这篇再看第 1 篇,能省不少「这词啥意思」的时间。

5. Unity 手册:Tile-based rendering in XR docs.unity3d.com(6000.3)

官方口径的 tile-based 注意事项,短,但权威。适合当 checklist 用:哪些操作会把片上数据请回主存。

6. Modern Mobile GPU Architecture(Arm) community.arm.com(PDF) · 2026

Arm 自己讲移动 GPU 架构的讲稿。当背景材料看——你会明白为什么移动端的优化列表和 PC 差这么多:没有真正意义的「写回缓冲」概念,一切围绕 tile 与带宽。

7. When Generative Models Act as Simulators arXiv<2610>.12847 · 2026-10-09

研究「生成模型的隐状态能不能当模拟器状态来编辑」(editability)。在 Othello 和自建 Rayworld 上测两种映射方式:探针解码后引导 vs 直接学逆映射。结论是哪种成功强依赖环境——这点和第 3 篇呼应:要想清「状态」在哪里,光靠解码出来是不够的,得能写回去。


本期筛掉的#

内容理由
Thermal Mitigation and Memory Bandwidth Optimization for Real-Time 3D Rendering on Mobile Heterogeneous SoCs(Zenodo 2026)题目正中本期主题,但 Zenodo 上没有同行评审记录,实验平台和热测量方法无法核验。老规矩:野预印本不进推荐。
Golden Anchor for Video Generation用下游视频反馈反向训练 T2I 选锚点图,方法挺有意思,但离游戏客户端太远;而且「锚点美学分与下游视频质量弱相关」这个结论,对做游戏素材管线的人反而不意外。

下期方向#

  • 图形学基础向的一手材料:渲染管线各阶段到底在搬什么数据(面试问到第四层的那种深度)
  • C++ 实测向:对象池 / 帧时间预算怎么拆
  • Agent 侧收一收:上一期和这一期都在讲状态与渲染/记忆的分离,下期考虑系统读一次经典论文(RAG 或 ReAct),讲清楚「为什么它能用」

专栏定位:宁缺不凑数。每期最多 3 篇主推 + 4 篇选读;没好东西就写短一点,甚至只更新黑名单。

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

每周技术读物
https://rechenz.github.io/post/每周技术读物-03/
作者
热尘
发布于
2026-11-08
许可协议
CC BY-NC-SA 4.0

评论区

Profile Image of the Author
热尘
游戏开发者 · AI 爱好者
公告
欢迎来到我的博客!这是一则示例公告。
分类
标签
站点统计
文章
38
分类
5
标签
12
总字数
46,029
运行时长
0 天
最后活动
0 天前
站点信息
构建平台
GitHub Actions
博客版本
Firefly v6.16.8
文章许可
CC BY-NC-SA 4.0
文章目录