Building a Simple Engine -- Advanced Topics--Planar reflections

引擎中的平面反射(Planar Reflections in Our Engine)

现实场景中,光洁的地面、透亮的窗户总能吸引目光,游戏开发中我们常会模拟这类视觉效果。本引擎选用了一种实用且稳定的实现方案 ——平面反射(Planar Reflections)。本文将讲解平面反射的定义、引擎选用该方案的原因、具体实现方式,以及其他反射方案的适用场景。

什么是平面反射?

平面反射是指沿单一平面(如平整地面、窗户)渲染场景的镜像画面,核心是创建一个「镜像相机」,从反射面的另一侧拍摄场景。我们会将这个镜像视角的画面渲染到一张纹理中,绘制玻璃(或其他平面反射表面)时,对该纹理进行采样即可实现反射效果。

平面反射的适用场景

  • 平面镜、平静的水面、抛光地面、玻璃幕墙等平面反射表面。
  • 对反射效果有稳定性、高质量要求,且希望避免大量噪点、时间域不稳定性的场景。

平面反射的不适用场景

  • 曲面、粗糙表面,这类表面需要全视角的光泽模糊效果。
  • 任意反射方向的场景(如具有复杂微观几何结构的金属材质)。

引擎选用平面反射的原因

本引擎对反射方案的核心要求为:

  1. 易理解:仅需新增一个渲染通道、一张纹理,实现逻辑简洁。
  2. 确定性与稳定性:无画面「闪烁」问题,无需处理时间域累积带来的各类问题。
  3. 实用性:适配前向渲染器中存在单个主要反射面(玻璃、地面)的场景。

平面反射完美满足以上三点要求,且无需光线追踪硬件,能在不同性能的 GPU 上稳定运行、良好扩展。

引擎中的实现逻辑

我们仅在主渲染通道外新增一个轻量级渲染通道,并在主通道中增加一次简单的混合操作,即可实现平面反射:

镜像通道(离屏渲染)

  1. 将相机沿目标平面做镜像变换,计算得到镜像视图矩阵
  2. 关闭(或调整)面剔除功能,将场景中的不透明物体渲染到反射纹理的颜色 + 深度渲染目标中。
  3. 完成同步操作,确保反射纹理能在后续通道中被正常采样。

主通道(原相机视角)

  1. 按常规流程绘制不透明物体与透明物体。
  2. 绘制玻璃时,采样反射纹理,并结合菲涅尔公式(Fresnel)粗糙度(roughness) 以及用户可控的反射强度(reflection intensity),将反射效果与玻璃的着色效果混合。

整个实现无复杂的渲染图逻辑,无需光线查询,也无需时间域累积,核心逻辑简洁易懂。

核心镜像变换算法(简洁高效)

  1. 在世界空间中定义反射平面,公式为:ax+by+cz+d=0。
  2. 基于该平面构建反射矩阵 R,将原相机的视图矩阵与 R 相乘,即可得到镜像相机的视图矩阵。
  3. 实际实现中,需对镜像通道的面剔除进行调整(如设置cullMode = none或翻转正面),因为反射变换会改变顶点的环绕顺序。

同时,我们会将反射平面参数传入着色器,实现可选的裁剪功能:通过将世界空间位置与平面参数进行简单的点积运算,即可在镜像通道中丢弃平面「后方」的片元,避免无效渲染。

详细渲染步骤

镜像通道

  1. 创建反射颜色纹理(格式与主通道匹配,确保合成 / 玻璃绘制通道可轻松采样)与反射深度纹理。
  2. 渲染前:通过 Vulkan Synchronization 2vkCmdPipelineBarrier2,将反射颜色纹理的布局从SHADER_READ_ONLY_OPTIMAL转换为COLOR_ATTACHMENT_OPTIMAL;深度纹理同理,转换为DEPTH_ATTACHMENT_OPTIMAL
  3. 启动动态渲染,绑定不透明物体的 PBR 渲染管线,关闭面剔除(或翻转正面)。
  4. 渲染不透明网格,若有需要,可增加基于反射平面的裁剪测试。
  5. 结束渲染,将反射颜色纹理的布局转换回SHADER_READ_ONLY_OPTIMAL,确保主通道可正常采样。

主通道

  1. 按常规流程渲染不透明物体(本引擎会渲染至离屏缓冲区,为后续的色调映射合成做准备)。
  2. 透明通道绘制玻璃时,采样反射纹理并执行混合操作,混合规则为:
    • 结合菲涅尔公式(掠射角下反射效果更强),并根据粗糙度削弱反射强度。
    • 乘以 UI 中可调节的反射强度系数,快速调整反射效果的可见度。

同步机制与内存屏障(核心注意点)

本引擎基于 Vulkan Synchronization 2 实现简洁的同步逻辑,核心规则如下:

  1. 禁止在活跃的动态渲染通道内修改图像布局,需先结束渲染通道。
  2. 调用vkCmdPipelineBarrier2时,需正确设置源 / 目标阶段掩码访问掩码以及旧 / 新布局
  3. 反射颜色纹理:镜像通道前从SHADER_READ_ONLY_OPTIMAL转为COLOR_ATTACHMENT_OPTIMAL,渲染后恢复为SHADER_READ_ONLY_OPTIMAL
  4. 交换链纹理:合成 / 透明通道前转为COLOR_ATTACHMENT_OPTIMAL所有渲染通道结束后,再转为PRESENT_SRC_KHR

描述符绑定:反射纹理的绑定位置

  1. 我们在 PBR 描述符集中预留了绑定点 10,用于绑定反射纹理的采样器。
  2. 在每帧的安全执行点(上一帧的渲染工作完成后),刷新当前帧的绑定点 10,使其指向上一帧生成的反射纹理。
  3. 玻璃着色器会检测 UBO 中的reflectionEnabled标志位,仅当存在有效反射纹理时,才执行反射纹理的采样操作。

玻璃混合模型(简易实用)

玻璃的核心视觉效果是透射,但我们希望实现逼真且鲜明的反射效果,因此采用以下简易混合模型:

  1. 菲涅尔项(Schlick 近似):掠射角下反射效果更强,贴合物理规律。
  2. 粗糙度因子:粗糙度越高,反射效果越弱、越模糊(本引擎做了简化处理,仅通过粗糙度削弱反射强度)。
  3. 反射强度滑动条:在 UI 中暴露该参数,可实时调整反射效果的明显程度。

该模型并非完整的物理光谱模型,但足够简洁易懂,且能输出逼真的视觉效果,完全满足示例引擎的需求。

其他反射方案及适用场景

屏幕空间反射(SSR)

  • 无需新增渲染通道,直接使用当前帧的颜色 / 深度缓冲区。
  • 适合水坑、局部小范围反射效果,但无法渲染屏外物体,且存在时间域不稳定性问题。
  • 适用场景:希望快速实现全场景反射,且可接受偶尔的画面瑕疵。

环境贴图 / 立方体贴图 / 反射探针

  • 预计算实现,渲染速度极快。
  • 对近距离物体的反射效果缺乏视角准确性,适合远距离的光泽反射。
  • 适用场景:实现全局环境反射,或反射面非完美平面的场景。

硬件光线追踪 / 混合渲染方案

  • 反射效果高度精准,支持复杂的反射场景。
  • 需光线追踪硬件,且需实现高级去噪算法,代码复杂度与性能开销较高。
  • 适用场景:面向高端 GPU 开发,且要求全场景反射效果达到「物理级逼真」。

平面反射(本引擎方案)

  • 仅需新增一个渲染通道,效果确定、稳定。
  • 完美适配单个或少数大型平面反射面(地面、窗户、平静水面)。
  • 适用场景:希望为特定平面实现高质量镜面反射,且不想引入光线追踪技术。

性能优化技巧

  1. 降低镜像通道的渲染分辨率:本引擎提供了分辨率缩放滑动条,可灵活调整。
  2. 激进的剔除策略:引擎的 CPU 视锥剔除对原相机和镜像相机均生效,可大幅减少渲染量。
  3. 按需启用镜像通道:当反射面不在相机可视范围内时,直接关闭镜像通道。
  4. 反射纹理模糊:若希望粗糙表面呈现柔和的反射效果,可对反射纹理采样结果进行模糊处理。

常见问题排查

反射效果过弱

调高 UI 中的反射强度滑动条,或降低反射面的粗糙度参数。

代码对应位置

镜像相机矩阵计算、反射通道及通道顺序配置

renderer_rendering.cpp

反射渲染目标与管线配置

renderer_pipelines.cpp

反射纹理采样 + 玻璃着色逻辑

shaders/pbr.slangshaders/pbr_utils.slang

反射纹理描述符绑定与每帧安全执行点刷新

renderer_rendering.cpp(反射描述符刷新逻辑)

未来拓展方向

若希望进一步优化平面反射效果,可参考以下方向:

  1. 实现基于粗糙度的反射纹理模糊(通过 mip 链或可分离模糊算法)。
  2. 支持多个反射平面,适配多层地板等复杂场景。
  3. 新增屏幕空间反射(SSR)作为兜底方案,在平面反射无效的区域混合 SSR 效果。
  4. 为非平面表面实现选择性光线查询反射,打造混合反射方案。

后续推荐阅读

若希望深入了解本引擎的其他核心功能,可阅读以下文档:

  1. Synchronization and Streaming(同步机制与资源流式加载)
  2. Forward+ Rendering(Forward + 渲染)
  3. Descriptor Indexing and Stable Descriptor Updates(描述符索引与稳定的描述符更新)
  4. Rendering Pipeline Overview(渲染管线总览)

你可以基于本方案自由尝试与拓展,平面反射的实现被刻意设计得简洁直观,让你能专注于学习 Vulkan 的核心知识点,而无需在复杂的图形技术中迷失。

Read more

人工智能:自然语言处理在教育领域的应用与实战

人工智能:自然语言处理在教育领域的应用与实战

人工智能:自然语言处理在教育领域的应用与实战 学习目标 💡 理解自然语言处理(NLP)在教育领域的应用场景和重要性 💡 掌握教育领域NLP应用的核心技术(如智能问答、作业批改、个性化学习) 💡 学会使用前沿模型(如BERT、GPT-3)进行教育文本分析 💡 理解教育领域的特殊挑战(如多学科知识、学生认知差异、数据隐私) 💡 通过实战项目,开发一个智能问答系统应用 重点内容 * 教育领域NLP应用的主要场景 * 核心技术(智能问答、作业批改、个性化学习) * 前沿模型(BERT、GPT-3)在教育领域的使用 * 教育领域的特殊挑战 * 实战项目:智能问答系统应用开发 一、教育领域NLP应用的主要场景 1.1 智能问答 1.1.1 智能问答的基本概念 智能问答是通过自然语言与用户进行交互,回答用户问题的程序。在教育领域,智能问答的主要应用场景包括: * 课程问答:回答课程相关的问题(如“什么是机器学习”

从指令到执行:OpenClaw 底层原理深度拆解 —— 一台真正会 “动手” 的本地 AI 引擎

从指令到执行:OpenClaw 底层原理深度拆解 —— 一台真正会 “动手” 的本地 AI 引擎

前言 当我们对 OpenClaw 发出一句自然语言指令:“把桌面所有超过一周的截图归档到 D 盘,再把今天的工作记录整理成 Markdown 并推送到 GitHub。” 传统 AI 会给出步骤,而 OpenClaw 会直接做完。 绝大多数文章只告诉你 OpenClaw “能做什么”,却极少解释它到底是如何做到的: * 一段文字,是怎么变成可执行的系统操作? * 它凭什么能跨 IM、跨平台、跨模型统一工作? * 高权限执行,底层是如何保证安全与可控? * 本地运行、隐私闭环,在架构上究竟如何实现? 本文不讲功能、不讲教程,只讲原理。从意图解析、任务编排、执行引擎、权限沙箱到多模态交互,带你从 0 到 1 理解 OpenClaw 的技术本质:它不是一个聊天机器人,而是一套本地优先、可解释、可审计、

HarmonyOS 5.0行业解决方案:基于端侧AI的智能工业质检APP开发实战

HarmonyOS 5.0行业解决方案:基于端侧AI的智能工业质检APP开发实战

文章目录 * 每日一句正能量 * 前言 * 一、工业质检数字化背景与技术趋势 * 1.1 行业痛点分析 * 1.2 鸿蒙工业质检技术栈优势 * 二、系统架构设计 * 2.1 整体架构图 * 2.2 核心模块划分 * 三、核心代码实现 * 3.1 多路工业相机接入 * 3.2 端侧AI推理引擎 * 3.3 缺陷检测业务逻辑 * 3.4 分布式质量看板 * 四、工控系统对接 * 4.1 Modbus TCP通信 * 五、OTA模型更新机制 * 六、总结与行业价值 每日一句正能量 低头走路的人只看到大地的厚重,却忽略了高空的高远;抬头走路的人,只看到高空的广阔,却忽略了脚下的艰辛与险峻,我们既需要在一天里憧憬一年,

人工智能:大语言模型(LLM)原理与应用实战

人工智能:大语言模型(LLM)原理与应用实战

人工智能:大语言模型(LLM)原理与应用实战 1.1 本章学习目标与重点 💡 学习目标:掌握大语言模型的核心原理、训练流程与微调方法,学会基于开源大语言模型完成定制化对话与文本生成任务。 💡 学习重点:理解大语言模型的Transformer decoder-only架构,掌握指令微调与RLHF技术,能够使用LoRA高效微调开源LLM。 1.2 大语言模型的核心概念与发展历程 1.2.1 什么是大语言模型 💡 大语言模型(Large Language Model, LLM)是参数量达到十亿级甚至万亿级的Transformer-based模型。它通过在海量文本数据上进行预训练,学习语言的语法、语义、常识和推理能力。 LLM的核心能力包括文本生成、理解、翻译、摘要、问答等。它可以处理复杂的自然语言任务,无需针对每个任务单独设计模型结构。 LLM与传统NLP模型的核心区别: * 参数量级:传统模型参数量通常在千万级,LLM参数量可达十亿到万亿级。 * 训练数据:传统模型依赖标注数据,LLM使用海量无标注文本进行预训练。 * 能力边界:传统模型只能处理单一任务,LL