feat(canvas): 云端 Agent 画布布局 - 新增 canvas_arrange_nodes 与新增节点自动落位
云端 Agent 此前只能新建节点与连线，既不会排版也不能移动已有节点：模型只能用几十个
update_node 手算坐标，或者让用户自己拖。
- 新增 backend/internal/canvas/layout：把前端既有的画布布局算法（web/src/lib/canvas/
canvas-layout.ts，本 PR 不改该文件）按同一套常量移植到服务端，提供 Kahn 拓扑分层 flow、
媒体泳道 byType、row/column/grid、对齐与等距、分组分带、AABB 重叠检测与空位搜索。
- 新增写工具 canvas_arrange_nodes：snapshotHash 必需，mode∈{auto,flow,byType,row,column,
grid}，可传 nodeIds、groups（只做横向位置分带，不建容器、不改层级）、align、gap、dryRun。
只改坐标，不改内容、不建连线、不增删节点；一次最多 50 个节点 / 12 组。锁定节点、背板等
容器、隐藏批次子节点与已归属背板的子节点保持不动并在回执里说明；整批复用现有 mutation
记录与事件管线，审批与撤销走同一条路径。
- add_node 省略坐标时不再落到 (0,0)：优先贴合本批连线的对端（输入在左、输出在右），否则
追加到同泳道同类节点之后，冲突则扫描空位；只给一个轴时保留该轴。agentCanvasOp.X/Y 改为
指针以区分"没给坐标"与"坐标 0"。
- update_node 的 patch 新增 x/y（PatchField.Limit 校验 ±1e6），供模型微调单个节点。
- 系统行为策略新增「布局与整理」一节并升版到 8；docs 补工具说明与工具全集；前端同步审批
预览联合类型、面板文案与徽标。
- 工具 schema 预算按实测从 24000 上调到 25000（21 个工具 24788 字节），并改正注释里
"上游约 23.4 KB"的说法（上游 20 个工具实测 22777 字节）。
This commit is contained in:
AetherNo2332 committed
1 parent
6f45240599
commit
56598108d4
16 files changed
+1894
-33
No files matched your search
@@ -257,7 +257,22 @@ func compileCloudAgentTools(req CloudAgentRequest, includeProfileTool bool) []ma
|
||||
{"properties": map[string]any{"type": map[string]any{"const": "connect_nodes"}}, "required": []string{"fromNodeId", "toNodeId"}},
|
||||
},
|
||||
}
|
||||
add("canvas_apply_ops", "创建空白节点、修改提示词或建立引用连线，不提交生成任务、不产生生成费用；先读取画布并传 snapshotHash。提交媒体生成使用 generate_media。每次最多20项，禁止删除、任意 metadata 和媒体 URL。每项都需要 type 和 id：add_node 还需要 nodeType，update_node 还需要按节点能力清单填写 patch，connect_nodes 还需要 fromNodeId 与 toNodeId。连线是生成输入关系，不会改变已提交任务的输入；来源须 canSource，目标须 canTarget 且接受来源 inputKind，能力以注册表为准。", map[string]any{"snapshotHash": str("canvas_get_state返回的snapshotHash"), "ops": map[string]any{"type": "array", "maxItems": 20, "items": opItem}}, "snapshotHash", "ops")
|
||||
add("canvas_apply_ops", "创建空白节点、修改提示词或建立引用连线，不提交生成任务、不产生生成费用；先读取画布并传 snapshotHash。提交媒体生成使用 generate_media。每次最多20项，禁止删除、任意 metadata 和媒体 URL。每项都需要 type 和 id：add_node 还需要 nodeType（可给 x/y 指定位置；省略坐标时服务端按画布内容自动落位，不会叠在原点），update_node 还需要按节点能力清单填写 patch（可含 x/y 移动节点），connect_nodes 还需要 fromNodeId 与 toNodeId。连线是生成输入关系，不会改变已提交任务的输入；来源须 canSource，目标须 canTarget 且接受来源 inputKind，能力以注册表为准。批量整理位置用 canvas_arrange_nodes，不要用几十项 update_node 手工算坐标。", map[string]any{"snapshotHash": str("canvas_get_state返回的snapshotHash"), "ops": map[string]any{"type": "array", "maxItems": 20, "items": opItem}}, "snapshotHash", "ops")
|
||||
add("canvas_arrange_nodes", "整理画布节点位置：只改坐标，不改内容、不建连线、不增删节点，先读画布并传 snapshotHash。mode 省略即 auto（有连线按依赖分层，否则按媒体类型分区）。groups 为横向分带（label 展示名，可覆盖整组 mode）。nodeIds 省略则整理全部可整理节点（跳过锁定节点、容器、批次子节点与已归属背板者）。align 对齐/等距，dryRun 只预演；一次最多 50 个节点，只挪单个节点用 update_node 的 x/y。", map[string]any{
|
||||
"snapshotHash": str("最近一次画布读取的 snapshotHash"),
|
||||
"nodeIds": map[string]any{"type": "array", "maxItems": cloudAgentArrangeMaxNodes, "items": str("节点ID；省略=全部可整理")},
|
||||
"mode": map[string]any{"type": "string", "enum": []any{"auto", "flow", "byType", "row", "column", "grid"}, "description": "auto=有连线按依赖否则按类型；flow=按依赖分层；byType=按类型分区；row/column/grid=线性或网格"},
|
||||
"groups": map[string]any{"type": "array", "maxItems": cloudAgentArrangeMaxGroups, "items": map[string]any{
|
||||
"type": "object", "properties": map[string]any{
|
||||
"label": str("分组展示名"),
|
||||
"nodeIds": map[string]any{"type": "array", "maxItems": cloudAgentArrangeMaxNodes, "items": str("节点ID")},
|
||||
"mode": map[string]any{"type": "string", "enum": []any{"byType", "flow", "row", "column", "grid"}},
|
||||
}, "required": []string{"nodeIds"}, "additionalProperties": false,
|
||||
}},
|
||||
"align": map[string]any{"type": "string", "enum": []any{"left", "centerX", "right", "top", "centerY", "bottom", "distributeX", "distributeY"}},
|
||||
"gap": map[string]any{"type": "number", "minimum": 0, "maximum": cloudAgentArrangeMaxGap, "description": "分带间距（像素）"},
|
||||
"dryRun": map[string]any{"type": "boolean", "description": "true 只预演不写入"},
|
||||
}, "snapshotHash")
|
||||
}
|
||||
if req.PermissionMode != "read_only" && len(req.ContextScope) > 0 {
|
||||
add("generate_media", "提交媒体生成：准备草稿和引用连线，独立审批通过后提交收费任务，auto也需要审批。仅创建节点、编辑提示词或连线使用 canvas_apply_ops。生成前读取画布和按实际参考素材筛选的模型目录，参数需符合返回的时长、画幅和音频能力。可续用空闲且无任务、无产物的草稿；其他运行的草稿需原运行已结束且清理完成。已绑定任务或已有产物的节点不能覆盖，原任务状态和错误可从 generation 或 task_get 读取。sourceNodeId 是文本输入；referenceNodeIds 是媒体输入；referenceTransientIds 只接受标注工具返回的临时引用，不接受任意URL。准入错误按返回的 reason 修正；已提交任务失败应告知用户，重新生成需用户明确要求并重新审批。", map[string]any{
|
||||
@@ -310,7 +325,7 @@ func cloudAgentToolAllowed(req CloudAgentRequest, name string) bool {
|
||||
return false
|
||||
}
|
||||
func cloudAgentWrite(name string) bool {
|
||||
return name == "canvas_apply_ops" || name == "generate_media" || name == "image_layer_split" || name == "canvas_create_storyboard" || name == "canvas_edit_storyboard" || name == "canvas_edit_batch_table"
|
||||
return name == "canvas_apply_ops" || name == "canvas_arrange_nodes" || name == "generate_media" || name == "image_layer_split" || name == "canvas_create_storyboard" || name == "canvas_edit_storyboard" || name == "canvas_edit_batch_table"
|
||||
}
|
||||
|
||||
func cloudAgentReadTool(repo *repository.Repository, userID string, state *cloudAgentRuntime, call cloudAgentCall, services ...*Service) (any, error) {
|
||||
@@ -683,16 +698,18 @@ type agentCanvasArgs struct {
|
||||
}
|
||||
|
||||
type agentCanvasOp struct {
|
||||
Type string `json:"type"`
|
||||
ID string `json:"id"`
|
||||
NodeType string `json:"nodeType"`
|
||||
Title *string `json:"title"`
|
||||
Content *string `json:"content"`
|
||||
Patch map[string]any `json:"patch"`
|
||||
X float64 `json:"x"`
|
||||
Y float64 `json:"y"`
|
||||
FromNodeID string `json:"fromNodeId"`
|
||||
ToNodeID string `json:"toNodeId"`
|
||||
Type string `json:"type"`
|
||||
ID string `json:"id"`
|
||||
NodeType string `json:"nodeType"`
|
||||
Title *string `json:"title"`
|
||||
Content *string `json:"content"`
|
||||
Patch map[string]any `json:"patch"`
|
||||
// X/Y 为指针：nil 表示模型没有指定坐标，服务端按画布内容自动落位（不再落到原点重叠）。
|
||||
// 指针语义与 canvas/capability/builtin.go 的 positionPatchFields 一致（坐标是可选的数字）。
|
||||
X *float64 `json:"x"`
|
||||
Y *float64 `json:"y"`
|
||||
FromNodeID string `json:"fromNodeId"`
|
||||
ToNodeID string `json:"toNodeId"`
|
||||
}
|
||||
|
||||
// Explicit node creation and edges only; no generic metadata, media URL or deletion.
|
||||
|
||||
Reference in new issue
Block a user