大多数 AI 内容工具的演示，都停在最有利的一刻：一个漂亮结果刚刚出现。
真实生产会在一分钟后开始。标题错了，法务说明变了，竖版裁切不好，母语审核者否定了一个说法，两个已经批准的输出不能再动，模型在批量任务中途超时，另一个人还需要理解刚才发生了什么。
有用的评测必须包含这一分钟。
从有代表性的混乱开始
不要从厂商的示例提示词开始。选择一个规模不大、但形状接近真实工作的任务。好的测试任务应包含：
- 不完美的源材料；
- 至少两种媒体类型；
- 两个或更多必须交付的版本；
- 一次人工批准；
- 首次生成后故意安排的一次修正；
- 最后交接给另一个人或工具。
例如：把一段六分钟访谈变成英文和日文脚本，各做 30 秒和 15 秒版本，为每个平台生成旁白和封面，再把其中一个版本交给编辑完成组装。
在不同产品中保持任务完全一致。录制屏幕，保存输出。对一场精致演示的印象不是基准测试。
为完整生产循环打分
生成质量很重要，但它只是一行。
1. 素材质量
结果是否准确、可用，并适合目标渠道？对主观媒体，在测试前先定义两三个验收条件。看过结果之后，“看起来不错”的标准很容易移动。
还要统计达到可发布质量需要多少人工修改。一张惊艳却难以精确修正的首图，可能不如一张只是不错但能够继续指导的图片有用。
2. 可编辑性
人能否修改输出，同时保留周围已经有用的工作？能否直接改文字、只替换一张图、修正发音，或仅修改某个阶段？手动编辑会成为新的下游来源，还是下一次运行就把它覆盖？
AI 系统常常优化“重新生成”，因为看起来毫不费力；真实生产却经常需要的是修正。
3. 可重复性
另一位操作员能否理解方法并再次执行？来源、指令、模型或操作、参数和中间结果是否足够清晰，让人可以诊断差异？
可重复不等于输出完全确定，而是流程拥有超出第一位操作员记忆的身份。
4. 版本隔离
两个版本批准后，修改第三个版本的来源。产品是否明确展示受影响范围？能否更新日语 TikTok，而不替换英文 YouTube？它是否区分必须交付的版本和已放弃的候选？
这个测试能揭示所谓“批量”究竟是受控变化，还是简单地把同一操作运行很多次。
5. 审核与批准
请第二个人在没有现场讲解的情况下审核。对方能否在正确上下文中看到素材？能否拒绝一个结果、编辑另一个，再确认第三个？批准会影响系统下一步允许做什么，还是只留下一条评论？
人的控制并不等于界面上有暂停按钮，而是人作出的决定会被工作流尊重。
6. 故障恢复
主动中断流程，使用错误输入，让一次生成失败。
操作员能否只重试失败步骤？成功输出是否保留？错误是否附着在正确版本上？第二天是否可以直接继续，而不必从对话记录重建状态？
故障行为就是生产行为。只有所有外部服务都完美响应时才优雅的系统，还没有真正接受测试。
7. 成本与延迟的可见性
分别测量经过时间和操作员注意力。一次无需看管的 12 分钟运行，可能比一次需要全程监督的 4 分钟运行更便宜。记录付费积分、外部 API、计算资源，以及修复或整理输出所需的人工。
不要从一次模型调用外推。你真正购买的单位是一个已接受的交付物，而不是一次生成。
8. 交接与退出
下载最终和中间素材。它们是否是普通、可用的媒体？命名是否连贯？时间线编辑者、审核者或档案系统能否在不看截图和讲解的情况下接收？如果停止使用产品，你能否取回来源和工作？
再漂亮的画布也可能成为死路。
用证据，而不是功能数量作结论
一张简单表格就足够：
| 标准 | 验收测试 | 证据 | 结果 |
|---|---|---|---|
| 素材质量 | 两种语言都通过已定义的审核标准 | 保存的输出与审核记录 | |
| 可编辑性 | 修正一项主张，不重启无关工作 | 屏幕录制与耗时 | |
| 可重复性 | 第二位操作员重新执行流程 | 操作员记录 | |
| 版本隔离 | 更新一条分支，保留两个已批准同级版本 | 前后素材 ID | |
| 审核 | 审核者分别拒绝、编辑和确认不同输出 | 状态历史 | |
| 故障恢复 | 只重试一个失败步骤 | 错误与恢复录像 | |
| 成本与延迟 | 每个已接受交付物的成本与主动操作分钟数 | 使用记录与计时器 | |
| 交接 | 编辑无需帮助即可收到可用素材包 | 导出文件与反馈 |
除非权重直接来自你的业务，否则不要把每一行合成一个虚假的总分。一个团队可能把图像可控性放在首位，另一个团队则最重视本地化审核。百分制总分会隐藏产品适合或不适合的真正原因。
把决定写成一条约束：
我们选择这款产品，因为它减少了 12 个固定版本之间的修订工作；它较弱的精剪能力由现有编辑器补足。
当功能和价格改变时，这句话依然有用。“它得了 86 分”则不会。
先比较工具类别，再比较品牌
许多令人失望的评测，一开始就在比较解决不同任务的产品：
- 时间线编辑器 优化对序列的直接控制。
- 生成式画布 优化探索、参考和素材创作。
- 模型工作流引擎 优化可配置的模型执行。
- 内容生产 IDE 把生成、媒体编辑、审核和版本扩展组织成一套可复用的生产方法。
- 发布平台 优化排期、分发和渠道分析。
这些类别会重叠，现代产品也常常组合多个类别。先说清主要任务，可以避免把一个次要功能误认为整款产品的运行模型。
IceFold 是一款为创作者打造的内容生产 IDE。用同一套工作流连续处理两个不同来源来评测它：它能否连接 AI 生成与媒体编辑，同时不把真正的脚本、图像、音频和视频藏起来？创作者能否修改并确认某一步？处理第二个来源时，这套生产方法是否更容易复用？然后再检验版本维度和选择性重跑，能否减少你实际所需交付物之间的协调工作。
如果基准任务是细致的时间线精剪，就以时间线编辑器作为参照；如果是开放式视觉构思，就以生成式画布作为参照。公平的测试完全可能得出“这些工具应该连接起来，而不是排出名次”的结论。
最后一个问题
试用结束时，先把最漂亮的输出放到一边，看看留下来的状态。
团队能理解它吗？能修改它吗？能相信已经批准的版本继续保持批准吗？能在不重复人工协调的情况下，再制作接下来的 20 个交付物吗？
第一个结果赢得掌声；结果之后留下的状态，决定工具能否真正进入生产。
披露： 本评测框架由 IceFold 开发团队参与撰写，其中有些标准正是 IceFold 选择竞争的方向。团队应按自己的工作修改标准和权重，并保留实际试用中不利于任何产品的证据。