refactor(canvas): 机位画面统一由镜头监视器渲染
This commit is contained in:
1 parent
f778f05957
commit
5cc2e26a29
12 files changed
+749
-93
No files matched your search
@@ -9,6 +9,7 @@ import { SceneRoot } from "./SceneRoot";
|
||||
import { ViewportBackground } from "./ViewportBackground";
|
||||
import { PlaybackTransformSync } from "./PlaybackTransformSync";
|
||||
import { renderSceneWithBokeh } from "./viewportBokeh";
|
||||
import { resolveCameraViewRenderRect } from "./viewportAspectFrame";
|
||||
import {
|
||||
formatLensInfo,
|
||||
getCameraRenderQuaternion,
|
||||
@@ -21,16 +22,22 @@ import type { CameraKeyframeValue, CameraTimelineTrack } from "../schema/timelin
|
||||
import { evaluateCameraViewAtTime, getActiveCameraIdAtTime } from "../schema/timeline";
|
||||
|
||||
/**
|
||||
* 镜头监视器:独立于主视口(即便主视口是「导演视角」也照常显示当前机位看到的内容)。
|
||||
* 复用 SceneRoot 渲染同一份场景(不带编辑器辅助),并按传感器宽高比裁切画幅、
|
||||
* 用 ViewportBackground 渲染与主视口 / 导出一致的全景背景,通过共享的 renderSceneWithBokeh
|
||||
* 反映光圈带来的景深虚化。UI 上的小字显示当前镜头参数。
|
||||
* 镜头监视器:**机位画面的唯一渲染源**。
|
||||
*
|
||||
* - 导演视角下:它是一块独立的小窗(`right` 偏移悬浮在画布右上角),随时显示当前机位看到的内容;
|
||||
* - 机位视角下:它直接顶到主视口那块画幅的位置上(`.lens-monitor.is-viewport-camera`,尺寸取
|
||||
* `resolveCameraViewRenderRect` 算出的矩形),**机位视角显示的就是这块 canvas 的像素** ——
|
||||
* 同一份渲染、同一个画幅,所以「机位视角 == 监视器 == 导出」不可能再出现取景 / 虚化不一致,
|
||||
* 主视口那边也不必重复跑一遍完整的景深 composer + 深度 pass(省掉约一半开销)。
|
||||
*
|
||||
* 复用 SceneRoot 渲染同一份场景(不带编辑器辅助),按传感器宽高比裁切画幅、
|
||||
* 用 ViewportBackground 渲染与导出一致的全景背景,通过共享的 renderSceneWithBokeh 反映景深虚化。
|
||||
*
|
||||
* 「当前机位」= 时间轴此刻正在显示的机位(多机位自动切换 / 过渡时会变),与视频导出用同一个
|
||||
* getActiveCameraIdAtTime 解析;位姿、镜头(焦段/光圈/对焦/景深强度)、画幅全部取自这台机位,
|
||||
* 保证监视器所见与导出的机位视角严格一致。
|
||||
*
|
||||
* 刻意做成独立的第二个 Canvas:景深后处理只作用在监视器上,不影响主视口 / 截图的渲染管线。
|
||||
* 刻意做成独立的第二个 Canvas:景深后处理只走这一条管线,主视口 / 截图不必各写一套。
|
||||
*/
|
||||
|
||||
function LensMonitorCamera({
|
||||
@@ -174,6 +181,55 @@ export function LensMonitor({ rightOffset = 12 }: { rightOffset?: number }) {
|
||||
// 小字镜头信息也按播放头解析(与画面渲染同一份 resolveLensAtTime),点击/拖到关键帧时数字同步刷新
|
||||
const lens = camera ? resolveLensAtTime(camera, playhead, cameraTracks) : null;
|
||||
const sensorAspect = lens ? lens.sensor.widthMm / lens.sensor.heightMm : 16 / 9;
|
||||
const viewMode = useDirectorStore((state) => state.viewMode);
|
||||
// 机位视角下,这块监视器直接顶到主视口「机位画面」的位置上,成为那块画幅本身:
|
||||
// 机位视角显示的**就是这块 canvas 的像素**(同一份渲染、同一个画幅),
|
||||
// 于是「机位视角 == 镜头监视器 == 导出」天然一致,不会再出现取景 / 虚化两边对不上;
|
||||
// 主视口那边同时不再重复渲染一遍完整景深管线(少一半开销,之前又卡又糊的主因)。
|
||||
const rootRef = useRef<HTMLDivElement | null>(null);
|
||||
const [viewportFrame, setViewportFrame] = useState<{ left: number; top: number; width: number; height: number } | null>(
|
||||
null
|
||||
);
|
||||
|
||||
useLayoutEffect(() => {
|
||||
// 画幅是相对「画布」等比适配出来的,而这块监视器的父元素正是 .canvas-frame(position: relative)
|
||||
const frame = rootRef.current?.parentElement ?? null;
|
||||
if (!frame) return undefined;
|
||||
|
||||
let animationFrameId = 0;
|
||||
const measure = () => {
|
||||
const rect = resolveCameraViewRenderRect(frame.clientWidth, frame.clientHeight, sensorAspect);
|
||||
setViewportFrame((current) =>
|
||||
current && rect && current.left === rect.left && current.top === rect.top && current.width === rect.width && current.height === rect.height
|
||||
? current
|
||||
: rect
|
||||
);
|
||||
};
|
||||
const scheduleMeasure = () => {
|
||||
cancelAnimationFrame(animationFrameId);
|
||||
animationFrameId = requestAnimationFrame(measure);
|
||||
};
|
||||
|
||||
measure();
|
||||
window.addEventListener("resize", scheduleMeasure);
|
||||
|
||||
if (typeof ResizeObserver === "undefined") {
|
||||
return () => {
|
||||
cancelAnimationFrame(animationFrameId);
|
||||
window.removeEventListener("resize", scheduleMeasure);
|
||||
};
|
||||
}
|
||||
|
||||
const resizeObserver = new ResizeObserver(scheduleMeasure);
|
||||
resizeObserver.observe(frame);
|
||||
return () => {
|
||||
cancelAnimationFrame(animationFrameId);
|
||||
window.removeEventListener("resize", scheduleMeasure);
|
||||
resizeObserver.disconnect();
|
||||
};
|
||||
}, [sensorAspect]);
|
||||
|
||||
const viewportCameraFrame = viewMode === "camera" && camera ? viewportFrame : null;
|
||||
const [dragging, setDragging] = useState(false);
|
||||
const dragRef = useRef<{
|
||||
startX: number;
|
||||
@@ -253,11 +309,29 @@ export function LensMonitor({ rightOffset = 12 }: { rightOffset?: number }) {
|
||||
};
|
||||
|
||||
return (
|
||||
<div className="lens-monitor" aria-label="镜头监视器" style={{ right: `${rightOffset}px` }}>
|
||||
<div
|
||||
ref={rootRef}
|
||||
className={`lens-monitor${viewportCameraFrame ? " is-viewport-camera" : ""}`}
|
||||
aria-label="镜头监视器"
|
||||
style={
|
||||
viewportCameraFrame
|
||||
? {
|
||||
left: `${viewportCameraFrame.left}px`,
|
||||
top: `${viewportCameraFrame.top}px`,
|
||||
width: `${viewportCameraFrame.width}px`,
|
||||
}
|
||||
: { right: `${rightOffset}px` }
|
||||
}
|
||||
>
|
||||
<div
|
||||
className="lens-monitor-stage"
|
||||
ref={stageRef}
|
||||
style={{ aspectRatio: String(sensorAspect), cursor: dragging ? "grabbing" : "grab" }}
|
||||
style={{
|
||||
aspectRatio: String(sensorAspect),
|
||||
// 机位视角下高度也要精确落在画幅上(宽高由同一个矩形算出来,避免 aspect 取整误差留下细缝)
|
||||
height: viewportCameraFrame ? `${viewportCameraFrame.height}px` : undefined,
|
||||
cursor: dragging ? "grabbing" : "grab",
|
||||
}}
|
||||
title="拖拽改变机位注视角度(Shift+拖拽旋转横滚角);单击画面中某点使其对焦清晰"
|
||||
onPointerDown={handlePointerDown}
|
||||
onPointerMove={handlePointerMove}
|
||||
@@ -267,9 +341,10 @@ export function LensMonitor({ rightOffset = 12 }: { rightOffset?: number }) {
|
||||
{camera && lens ? (
|
||||
<Canvas
|
||||
className="lens-monitor-canvas"
|
||||
// dpr 与主视口(机位视角)对齐到同一档 [1,2]:否则高分屏(dpr=2)上主视口按 2x 锐利渲染、
|
||||
// 监视器却只按 1.5x 渲染再放大显示,画面就发虚、和机位视角"显示不一样"。
|
||||
dpr={[1, 2]}
|
||||
// 这块画布在机位视角下就是主视口那块画幅(尺寸跟着画幅走),所以 dpr 上限收一档:
|
||||
// 大画布上跑到 2x 会让「景深 composer + 深度 pass」的像素量翻倍,是之前发卡的主因;
|
||||
// 1.5x 在高分屏上肉眼几乎无差别,开销却少 ~45%。导出不受影响(导出自己设 1x + 导出分辨率)。
|
||||
dpr={[1, 1.5]}
|
||||
// preserveDrawingBuffer:机位视角导出就是把这块画布的内容逐帧读进 VideoFrame,
|
||||
// 不保留绘画缓冲会读到空帧。
|
||||
gl={{ antialias: true, preserveDrawingBuffer: true }}
|
||||
|
||||
Reference in new issue
Block a user