Skip to content

test(seedance): t2v_basic 校验 4k 分辨率并轮询到成功出片#35

Open
krisxia0506 wants to merge 1 commit into
mainfrom
test/seedance-t2v-basic-4k
Open

test(seedance): t2v_basic 校验 4k 分辨率并轮询到成功出片#35
krisxia0506 wants to merge 1 commit into
mainfrom
test/seedance-t2v-basic-4k

Conversation

@krisxia0506

Copy link
Copy Markdown
Collaborator

变更类型

类型:test

影响范围

模块:其他(test-cases/seedance 兼容性测试用例)

变更描述

将 Seedance 文生视频基础用例 t2v_basic 升级为「4k 分辨率并轮询到成功出片」:请求 resolution: 4k 并轮询到 succeeded,校验成功态结构(必有 content.video_urlusage),用于验证被测服务接受并能完成 4k 视频生成任务。

具体改动

  • cases.yamlt2v_basic 增加 resolution: "4k",checks 从「仅创建+查询结构」升级为 reached_succeeded + succeeded_schema + usage_total_equals_completion;用例名改为「文生视频 4k 分辨率(轮询到成功出片)」并补充注释。
  • README.md:同步说明 t2v_basic 现校验 4k 分辨率。

测试情况

  • python run_tests.py --dry-run 通过,11 个用例全部 PASS。
  • 已核对火山方舟官方 API 文档:resolution: 4k(3840×2160、10bit 位深)仅 Seedance 2.0 支持,正是本套件默认模型 doubao-seedance-2-0-260128
  • 真实接口的 4k 出片轮询(API_BASE_URL / API_KEY 配置后运行)会真实产生一次 4k 视频生成,本次未跑真实接口。

将文生视频基础用例 t2v_basic 请求 resolution:4k 并轮询到 succeeded,
校验成功态结构(content.video_url 与 usage)。4k(3840×2160、10bit)仅
Seedance 2.0(本套件默认模型 doubao-seedance-2-0-260128)支持,用于验证
被测服务接受并能完成 4k 视频生成任务;不支持 4k 的实现会在创建时报错或
轮询不到 succeeded。同步更新 README 说明。

@gemini-code-assist gemini-code-assist Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Code Review

This pull request updates the basic text-to-video test case (t2v_basic) to request 4k resolution and poll until completion, updating both the YAML configuration and the README documentation. The reviewer feedback suggests keeping t2v_basic as a lightweight connectivity check to avoid high API costs and long execution times, and instead creating a separate t2v_4k test case for 4k validation.

Important

The consumer version of Gemini Code Assist on GitHub is being sunset. Starting June 18, 2026, new organization installations will be blocked, and all code review activity will officially cease on July 17, 2026.
For more details on the timeline and next steps, please review the Help Documentation.

Comment on lines 69 to +80
- id: t2v_basic
name: 文生视频 基础连通性(创建 + 查询结构
name: 文生视频 4k 分辨率(轮询到成功出片
scenario: text_to_video
checks: [create_status_200, create_schema, query_status_200, query_schema]
resolution: "4k"
checks:
- create_status_200
- create_schema
- query_status_200
- query_schema
- reached_succeeded
- succeeded_schema
- usage_total_equals_completion

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

medium

t2v_basic 升级为 4k 分辨率并轮询到成功出片,虽然能够验证 4k 生成能力,但会带来以下问题:

  1. 测试耗时与成本大幅增加t2v_basic 原本是一个轻量级的快速连通性测试(不轮询到终态,仅需几秒钟)。将其改为 4k 轮询后,每次运行测试套件都会触发一次完整的 4k 视频生成(可能长达数分钟甚至十几分钟),产生高昂的 API 计费和时间成本。
  2. 基础测试容错性降低:4k 分辨率仅 Seedance 2.0 支持。如果被测服务由于模型版本或环境限制不支持 4k,最基础的 t2v_basic 就会直接报错失败,无法起到“基础连通性检测”的作用。

建议:保留原有的轻量级 t2v_basic 用例,并新建一个独立的 t2v_4k 用例来专门测试 4k 视频生成和轮询出片。这样既能保留快速冒烟测试的能力,又能覆盖 4k 场景。

  - id: t2v_basic
    name: 文生视频 基础连通性(创建 + 查询结构)
    scenario: text_to_video
    checks: [create_status_200, create_schema, query_status_200, query_schema]

  - id: t2v_4k
    name: 文生视频 4k 分辨率(轮询到成功出片)
    scenario: text_to_video
    resolution: "4k"
    checks:
      - create_status_200
      - create_schema
      - query_status_200
      - query_schema
      - reached_succeeded
      - succeeded_schema
      - usage_total_equals_completion

| `start_end_to_video` | `[text, image_url(first_frame), image_url(last_frame)]` | 2 图 URL |
| `multimodal_reference` | `[text, reference_image, reference_video, reference_audio]` | 多素材 URL |

基础文生视频用例(`t2v_basic`)请求 `resolution: 4k` 并轮询到 `succeeded`,校验成功态结构(必有 `content.video_url` 与 `usage`)——`4k`(3840×2160、10bit 位深)仅 **Seedance 2.0**(本套件默认模型 `doubao-seedance-2-0-260128`)支持,用于验证被测服务接受并能完成 4k 视频生成任务;不支持 4k 的实现会在创建时报错或轮询不到 `succeeded`。

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

medium

配合 cases.yaml 中的修改,建议同步更新 README 中关于 t2v_basic 和新用例 t2v_4k 的说明,明确 t2v_basic 仍为快速连通性校验,而 4k 校验由独立的 t2v_4k 负责。

@fennoai fennoai Bot left a comment

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Review summary

发现 1 个会让 4k 兼容性用例误报通过的关键问题,已在对应 diff 行内说明。未发现其他高置信度的安全或性能问题。

验证说明:完成了 diff 与运行器逻辑的静态检查;python run_tests.py --dry-run 因当前环境缺少 jsonschema 依赖而未能执行。

View job run

- create_schema
- query_status_200
- query_schema
- reached_succeeded

Copy link
Copy Markdown

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

[P1] 请实际断言生成结果为 4k

当前新增的 checks 只确认任务到达 succeeded 且存在 video_url/usagequery_response.schema.json 里的 resolution 既非必填,也没有限定为 4k,运行器也没有做相等校验。因此,被测服务即使忽略请求参数或静默降级成 720p,这个用例仍会通过,无法达成 PR 所述的 4k 校验目标。请至少断言成功响应中的分辨率为 4k;如果该字段只是请求回显,则还需要读取视频元数据校验实际尺寸为 3840×2160。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant