refactor(canvas): 机位画面统一由镜头监视器渲染

This commit is contained in:
tongtong committed 2026-09-20 20:32:24 +08:00
1 parent f778f05957
commit 5cc2e26a29
12 files changed
+749 -93

No files matched your search

+85 -10
View File
@@ -9,6 +9,7 @@ import { SceneRoot } from "./SceneRoot";
import { ViewportBackground } from "./ViewportBackground";
import { PlaybackTransformSync } from "./PlaybackTransformSync";
import { renderSceneWithBokeh } from "./viewportBokeh";
import { resolveCameraViewRenderRect } from "./viewportAspectFrame";
import {
formatLensInfo,
getCameraRenderQuaternion,
@@ -21,16 +22,22 @@ import type { CameraKeyframeValue, CameraTimelineTrack } from "../schema/timelin
import { evaluateCameraViewAtTime, getActiveCameraIdAtTime } from "../schema/timeline";
/**
* 镜头监视器:独立于主视口(即便主视口是「导演视角」也照常显示当前机位看到的内容)。
* 复用 SceneRoot 渲染同一份场景(不带编辑器辅助),并按传感器宽高比裁切画幅、
* 用 ViewportBackground 渲染与主视口 / 导出一致的全景背景,通过共享的 renderSceneWithBokeh
* 反映光圈带来的景深虚化。UI 上的小字显示当前镜头参数。
* 镜头监视器:**机位画面的唯一渲染源**。
*
* - 导演视角下:它是一块独立的小窗(`right` 偏移悬浮在画布右上角),随时显示当前机位看到的内容;
* - 机位视角下:它直接顶到主视口那块画幅的位置上(`.lens-monitor.is-viewport-camera`,尺寸取
* `resolveCameraViewRenderRect` 算出的矩形),**机位视角显示的就是这块 canvas 的像素** ——
* 同一份渲染、同一个画幅,所以「机位视角 == 监视器 == 导出」不可能再出现取景 / 虚化不一致,
* 主视口那边也不必重复跑一遍完整的景深 composer + 深度 pass(省掉约一半开销)。
*
* 复用 SceneRoot 渲染同一份场景(不带编辑器辅助),按传感器宽高比裁切画幅、
* 用 ViewportBackground 渲染与导出一致的全景背景,通过共享的 renderSceneWithBokeh 反映景深虚化。
*
* 「当前机位」= 时间轴此刻正在显示的机位(多机位自动切换 / 过渡时会变),与视频导出用同一个
* getActiveCameraIdAtTime 解析;位姿、镜头(焦段/光圈/对焦/景深强度)、画幅全部取自这台机位,
* 保证监视器所见与导出的机位视角严格一致。
*
* 刻意做成独立的第二个 Canvas:景深后处理只作用在监视器上,不影响主视口 / 截图的渲染管线。
* 刻意做成独立的第二个 Canvas:景深后处理只走这一条管线,主视口 / 截图不必各写一套。
*/
function LensMonitorCamera({
@@ -174,6 +181,55 @@ export function LensMonitor({ rightOffset = 12 }: { rightOffset?: number }) {
// 小字镜头信息也按播放头解析(与画面渲染同一份 resolveLensAtTime),点击/拖到关键帧时数字同步刷新
const lens = camera ? resolveLensAtTime(camera, playhead, cameraTracks) : null;
const sensorAspect = lens ? lens.sensor.widthMm / lens.sensor.heightMm : 16 / 9;
const viewMode = useDirectorStore((state) => state.viewMode);
// 机位视角下,这块监视器直接顶到主视口「机位画面」的位置上,成为那块画幅本身:
// 机位视角显示的**就是这块 canvas 的像素**(同一份渲染、同一个画幅),
// 于是「机位视角 == 镜头监视器 == 导出」天然一致,不会再出现取景 / 虚化两边对不上;
// 主视口那边同时不再重复渲染一遍完整景深管线(少一半开销,之前又卡又糊的主因)。
const rootRef = useRef<HTMLDivElement | null>(null);
const [viewportFrame, setViewportFrame] = useState<{ left: number; top: number; width: number; height: number } | null>(
null
);
useLayoutEffect(() => {
// 画幅是相对「画布」等比适配出来的,而这块监视器的父元素正是 .canvas-frame(position: relative)
const frame = rootRef.current?.parentElement ?? null;
if (!frame) return undefined;
let animationFrameId = 0;
const measure = () => {
const rect = resolveCameraViewRenderRect(frame.clientWidth, frame.clientHeight, sensorAspect);
setViewportFrame((current) =>
current && rect && current.left === rect.left && current.top === rect.top && current.width === rect.width && current.height === rect.height
? current
: rect
);
};
const scheduleMeasure = () => {
cancelAnimationFrame(animationFrameId);
animationFrameId = requestAnimationFrame(measure);
};
measure();
window.addEventListener("resize", scheduleMeasure);
if (typeof ResizeObserver === "undefined") {
return () => {
cancelAnimationFrame(animationFrameId);
window.removeEventListener("resize", scheduleMeasure);
};
}
const resizeObserver = new ResizeObserver(scheduleMeasure);
resizeObserver.observe(frame);
return () => {
cancelAnimationFrame(animationFrameId);
window.removeEventListener("resize", scheduleMeasure);
resizeObserver.disconnect();
};
}, [sensorAspect]);
const viewportCameraFrame = viewMode === "camera" && camera ? viewportFrame : null;
const [dragging, setDragging] = useState(false);
const dragRef = useRef<{
startX: number;
@@ -253,11 +309,29 @@ export function LensMonitor({ rightOffset = 12 }: { rightOffset?: number }) {
};
return (
<div className="lens-monitor" aria-label="镜头监视器" style={{ right: `${rightOffset}px` }}>
<div
ref={rootRef}
className={`lens-monitor${viewportCameraFrame ? " is-viewport-camera" : ""}`}
aria-label="镜头监视器"
style={
viewportCameraFrame
? {
left: `${viewportCameraFrame.left}px`,
top: `${viewportCameraFrame.top}px`,
width: `${viewportCameraFrame.width}px`,
}
: { right: `${rightOffset}px` }
}
>
<div
className="lens-monitor-stage"
ref={stageRef}
style={{ aspectRatio: String(sensorAspect), cursor: dragging ? "grabbing" : "grab" }}
style={{
aspectRatio: String(sensorAspect),
// 机位视角下高度也要精确落在画幅上(宽高由同一个矩形算出来,避免 aspect 取整误差留下细缝)
height: viewportCameraFrame ? `${viewportCameraFrame.height}px` : undefined,
cursor: dragging ? "grabbing" : "grab",
}}
title="拖拽改变机位注视角度(Shift+拖拽旋转横滚角);单击画面中某点使其对焦清晰"
onPointerDown={handlePointerDown}
onPointerMove={handlePointerMove}
@@ -267,9 +341,10 @@ export function LensMonitor({ rightOffset = 12 }: { rightOffset?: number }) {
{camera && lens ? (
<Canvas
className="lens-monitor-canvas"
// dpr 与主视口(机位视角)对齐到同一档 [1,2]:否则高分屏(dpr=2)上主视口按 2x 锐利渲染、
// 监视器却只按 1.5x 渲染再放大显示,画面就发虚、和机位视角"显示不一样"。
dpr={[1, 2]}
// 这块画布在机位视角下就是主视口那块画幅(尺寸跟着画幅走),所以 dpr 上限收一档:
// 大画布上跑到 2x 会让「景深 composer + 深度 pass」的像素量翻倍,是之前发卡的主因;
// 1.5x 在高分屏上肉眼几乎无差别,开销却少 ~45%。导出不受影响(导出自己设 1x + 导出分辨率)。
dpr={[1, 1.5]}
// preserveDrawingBuffer:机位视角导出就是把这块画布的内容逐帧读进 VideoFrame,
// 不保留绘画缓冲会读到空帧。
gl={{ antialias: true, preserveDrawingBuffer: true }}