实验设计与记录

确定实验问题

准备实验时，先写清楚这次运行会帮助你做什么判断。可以是复现一项结果、检查方法是否可行、比较两种设置，或分析某个失败原因。问题越具体，越容易决定需要哪些数据和计算资源。

早期探索可以先保留简短笔记和运行记录。当实验将用于支持论文结论，或需要多人、多轮执行时，再使用 experiment-design-management 整理正式方案。该 Skill 负责设计与记录；具体计算环境由项目和 HPC 工具管理。

请使用 experiment-design-management，为【项目目录】中的【研究问题】整理实验草案。
先读取已有研究记录、代码和数据说明，复用已有方案，不改动实验代码。
说明比较对象、实验单位、主要指标、数据划分、重复安排和计算预算；各项选择附简短依据。
区分探索性分析与准备正式检验的主张，不把尚未决定的内容写成已确认设置。
先列出会实质影响设计的缺失信息，再保存可讨论的草案和待决定事项。
这次只整理方案，不提交计算任务。

说明比较条件与评价方法

先确定比较对象，再选择指标。两种方法使用的数据、预处理、训练或调参预算如果不同，应当记录差异，并判断比较是否仍能回答原来的问题。

同一对象的多次测量未必是独立样本。样本量和重复次数需要结合实验设计决定，不能仅因为一个数字常见就照搬。让 AI 检查这些定义是否一致，再由研究者确认分析方法。

记录执行步骤与分析计划

建议将“怎样运行”与“怎样解释结果”分别写清楚。执行步骤说明输入、环境、命令、输出和检查方法；分析计划说明主要比较、数据排除、缺失值处理、统计方法，以及哪些分析属于探索。

可以参考 Skill 的实验记录说明，按需要使用以下文件。已有等价记录时，继续沿用即可。

涉及多人或多个运行阶段时，可以另写执行说明，明确每个人需要交付的内容。单次小实验通常不需要把所有文件都建齐。

先做一次小规模检查

在使用完整数据或安排长时间运行前，先用少量数据检查读取、预处理、模型调用、指标计算和结果保存。优先选择能暴露实际问题的小样本，包括边界情况和已知答案。

检查时记录运行时间和资源占用，帮助估计正式实验的预算。涉及模型训练或推理时，也要确认代码使用了预期的设备与数据划分。

确定正式运行采用的版本

正式运行前，保存方案、代码、配置和数据版本，并写明日期。这样后来看到结果时，可以查到当时实际采用的设置。

这里的“冻结方案”指保存一份确认后的版本。它不自动等同于向外部平台完成预注册。若研究需要预注册，应另外按适用流程办理，并记录提交信息。

请检查【实验目录】中的方案是否足以支持下一次正式运行。
读取设计、协议、分析计划、试运行记录，以及对应代码、数据和环境版本。
检查研究问题与指标是否对应，对照条件是否可比，输入输出能否定位，资源预算是否明确。
区分已完成检查、仍需核实的问题和可选改进；指出具体文件或证据位置。
如果有影响结果解释的问题，先说明问题与处理建议。
本次只做检查，不将方案改为已冻结，不提交作业，也不将检查结果写成研究结论。

记录每次运行及方案变化

为每次运行保留一个可查找的标识，并关联实验编号、代码版本、配置、输入数据、随机种子、开始结束时间、日志和输出目录。失败或中断的运行也有信息价值，可以记录原因和处理方式。

运行后发现需要调整指标、排除条件或方法时，保留原方案，另记修改内容、原因、时间，以及修改前是否已经查看相关结果。新分析可以继续做，但在汇报和写作时应说明它属于后续探索。

同一组结果反复试不同处理方式时，记录选择过程。只保存最终最好的一组结果，会让后来的人难以判断这项结果是怎样得到的。

整理实验结果

结果记录可以回答四个问题：实际运行了什么、观察到什么、支持什么判断、还不能判断什么。将指标表与生成它的脚本、日志或数据文件关联起来，写论文时可以继续使用。

结果未达到预期时，先区分实现错误、数据问题、资源限制和研究假设本身不成立。不要仅因结果不好就自动增加实验；先判断新增运行会解决哪一个具体疑问。

请根据【实验目录或运行清单】整理本次实验结果。
只读取列出的实际输出，记录运行编号、代码与配置版本、数据来源和结果位置。
分别说明观察结果、支持的判断、不能支持的判断，以及失败或偏离方案的运行。
任何汇总数字都给出来源与计算方法；缺少数据时明确说明，不补造结果。
保存结果摘要，并提出能解决具体疑问的下一步；不要自动追加实验或发布到 共享进展记录。

需要让导师或合作者了解变化时，共享结果摘要及对应材料的位置。原始运行记录继续保存在项目中；远程执行的实验应取回必要结果，并记录运行环境与版本。

参考来源

• Research-Workflow-Skills
• 实验设计与管理 Skill
• 实验记录说明