3194 字
16 分钟

AI时代的科研工作流总结

从文献检索、论文复现到实验测评与进度交接,整理一套可持续的 AI 科研工作流,并反思文件夹缺乏结构和 Codex 表达难懂的问题。

文章目录

目前我在科研中遇到了科研文件夹安排不够结构化的问题,并且 Codex 过度思考,添加术语乃至看不懂的情况也很常见,此视频值得参考。

视频引用来源:Bilibili 原视频(BV1a5Mo6BEoN)。这篇笔记根据视频截图中的转写内容、思维导图和科研目录示意整理,重点记录工作流;文末再写下结合我目前情况的落实办法。

对我来说,这个视频值得参考的地方,是把“让 AI 帮忙”变成了一套能持续使用的研究流程:材料放在哪里,问题怎么形成,实验如何比较,换一个会话后怎样继续,都有对应的记录。

一、科研从发现问题开始#

视频开头提醒了两种容易走向的极端:一种是所有事情仍然由自己手动完成,没有真正利用 AI;另一种是希望把题目交给 AI,它就能直接给出足够好的研究成果。

更合理的分工是:人负责理解问题、判断证据、提出假说和决定研究方向,AI 协助检索、整理、复现、编码和分析结果。AI 可以参与讨论,但一段说得很完整的话,并不自动构成可靠的研究思路。

工具可以加快操作,研究问题和结论仍然需要自己判断。整个流程可以概括为:

检索相关文献
↓
复现已有方法,观察具体问题
↓
形成问题、假说和方法
↓
编写实验代码,逐步核查实现
↓
按统一规则测评,记录结果
↓
更新数据说明和进度交接
↓
根据结果继续调整问题与方法

这是一条反复迭代的路线。一次实验没有支持原来的假说,也应当成为下一轮判断的依据。

二、文献检索:先建立可以回看的材料库#

视频建议先建立 related_work/,集中保存与研究问题有关的论文。检索工具可以帮助寻找材料,但最终要落到自己能阅读、核对和再次定位的文件上。

检索时既要找当前问题的直接相关工作,也要理解近年的主要方法及更早的关键工作,核对它们的实验设置。这样后续复现和讨论才有依据,而不会只围绕模型即时生成的解释展开。

PDF 和 LaTeX 各有用途#

视频作者的经验是,同时保留论文 PDF 和能够获得的 LaTeX 源文件:

材料在工作流中的用途
PDF快速了解摘要、整体结构、图表和主要结论,也方便自己阅读
LaTeX 源文件给 AI 精读时,帮助定位公式、表格数字和引用关系

这里需要把经验和保证分开。并非所有论文都有公开的 LaTeX 源文件,有源文件也不意味着 AI 一定理解正确。遇到关键公式、实验数字或结论时,仍然要回到论文核对。

文献库的价值,是让研究讨论能够追溯到具体论文,而不是只留下一个看起来完整的总结。

三、论文复现:从跑通方法到发现问题#

先复现,再讨论改进#

视频建议建立独立的复现目录,选择近年重要、最好有开源代码的方法,先把它们跑通。复现过程可以帮助理解论文里不容易直接看出来的细节。

值得观察的不只是最后的指标,还包括:

  • 结果可视化与论文展示是否一致。
  • 实验设计和实际实现之间是否存在差异。
  • 训练曲线中有没有异常或值得追问的现象。
  • 数据处理方式、失败样例和方法适用条件是什么。

这些观察不一定立即成为新论文的创新点,但能把讨论从“我觉得可以改”推进到“我看到这里有一个具体问题”。复现也不能只以程序没有报错为完成标准,需要理解运行结果意味着什么。

在 brainstorm.md 中记录思路的来路#

有了文献和复现结果,再与 AI 进行头脑风暴。视频用 brainstorm.md 保存这部分讨论,让问题、假说和方法之间的关系可以回看。

我理解这里最重要的是记录推导过程:观察到了什么,为什么认为它值得研究,准备怎样解释或改进,而不只是保存最后一段漂亮的方案。

先有清晰的问题、假说和方法,再进入实验代码阶段。如果这些还没有想明白,AI 写出的代码越多,后面可能越难判断它究竟在解决什么。

四、实验迭代:核查实现,统一比较#

建立 experiment 后,持续检查方向#

视频在明确研究思路之后建立 experiment/,开始让 AI 协助实现实验。这里强调反复核查:代码是否符合原来的想法,主要结构是否合理,有没有擅自把任务推进到另一个方向。

这也对应我使用 Codex 时遇到的问题。有时它把一个具体任务扩展成很多层分析,又不断加入术语;文字越来越多,我却越来越难确认它是否还在处理原来的问题。

看不懂实现和解释时,应当先要求它讲清楚,再决定是否继续推进。能运行的代码只是一个起点,研究者还需要理解主要步骤和判断依据。

每一版结果都要留下记录#

实验版本需要清楚命名,并保留相应代码和输出。视频用 results.md 总结每一版的方法与效果,让后续迭代能回答:这一版改了什么,结果如何,下一步为什么这么做。

如果只保存最新的一张图或一个指标,就容易忘记结果对应哪一版代码,也很难比较前后改动。

用 evaluation.md 固定测评规则#

evaluation.md 的作用,是记录统一的训练、测试和测评流程,包括使用哪些数据、哪些指标、哪些可视化和样例输出。

不同版本应当尽量在同一套测评规则下比较。如果每轮都随意改变测试数据、指标或展示方式,结果的差异就不一定来自方法本身。

当确实需要修改测评规则时,应当记录变动,并说明哪些旧结果还能直接比较,哪些需要重新测试。

五、数据与交接:避免每一轮都从头找材料#

DataSet 保存数据,dataset.md 解释数据#

视频中,AI 可以辅助下载数据、预处理、配置环境,以及查看表现不好的案例。这些能力仍然需要核查,尤其不能因为下载命令成功就认定数据完整、处理正确。

随着项目扩大,需要用 DataSet/ 保存数据资源,并在 dataset.md 中说明:现在有哪些数据,如何处理,文件和版本怎样命名。否则很容易在后续实验中忘记已有资源,或者重复执行同一批处理。

对于长时间下载任务,视频还强调要明确完成条件,并考虑网络失败后的重试和续传。把“把这些数据全部下载完成”说清楚,比只发出一次下载指令更容易验收。

handoff.md 记录当前进度#

视频建议在项目根目录建立 handoff.md,记录本轮完成了什么、目前到了哪里、下一步准备做什么。换会话或让另一个 Agent 接手时,先让它阅读交接记录。

这需要在自己的协作流程里明确安排,不能假定所有工具都会自动读取。交接文件也需要随工作更新,过期的记录可能比没有记录更容易让后续工作走偏。

重要进度应该留在项目里,而不只留在聊天记录中。

六、完整科研文件夹结构#

下面整理的是截图中给出的目录结构。目录和文档的名称可以结合自己的项目调整,关键是每类材料的职责要清楚。

科研项目/
├── AGENTS.md # 项目目标、协作说明和各文档用途
├── handoff.md # 当前进度与工作交接
├── related_work/ # 相关论文 PDF 与可获得的 LaTeX 源文件
├── 复现/ # 跑通相关论文方法的代码与记录
├── brainstorm.md # 问题、假说和方法的讨论记录
├── experiment/ # 自己的实验实现
│ ├── results.md # 每一版实验的结果总结
│ └── evaluation.md # 统一的测评规则
├── DataSet/ # 数据资源
└── dataset.md # 数据处理和命名说明

这些文件分别回答不同的问题:

文件或目录要回答的问题
AGENTS.md我们在研究什么?协作时遵循哪些规则?到哪里找材料?
related_work/相关研究说了什么?判断依据来自哪里?
复现/已有方法是怎样实现和运行的?发现了什么问题?
brainstorm.md为什么提出这个假说?准备如何验证?
experiment/results.md每轮实验改了什么?结果是什么?
experiment/evaluation.md用什么统一标准比较方法?
DataSet/ 与 dataset.md有哪些数据?如何取得、处理和使用?
handoff.md当前进展到哪一步?接下来继续什么?

视频最后提到建立自己的 AI 协作框架,也使用了 harness 这个词。在这篇笔记里,可以把它理解为围绕 AI 工作的一套任务规则、文件组织、检查和交接办法。重点是把这套办法用起来,再随着实际研究不断调整。

七、结合我的情况,准备怎样落实#

下面这些是我结合视频和目前问题整理的改进办法,属于个人落实计划。

先整理文件,再继续堆实验#

我现在最需要解决的,是科研文件夹安排不够结构化。可以先把现有项目按文献、复现、自有实验和数据整理,再补上项目说明与交接记录。

具体整理时,我准备额外记录实验运行命令、环境、随机种子,以及结果对应的代码版本。不同版本的输出保留在独立目录里,数据处理过程也写清楚。这样以后追问某个结果时,能够找到它的来路。

把“说清楚”写进协作规则#

针对 Codex 过度思考、扩展任务和添加难懂术语的问题,我准备在项目的 AGENTS.md 里加入下面的约定:

先用简单语言说明当前问题和本次准备完成的具体任务。
每次围绕已确定的目标推进,说明这一步为什么需要做。
需要扩大任务范围或改变研究假说时,先说明理由。
优先使用项目已有的术语;必须引入新概念时,解释含义。
不要自造缩写或给普通操作起难懂的名字。
结论要对应到论文、数据或实验结果;猜测单独标明。
完成后记录修改、验证结果和下一步,并更新交接文件。

这段规则可以帮助我更快检查输出,也提醒我自己:如果无法解释一段代码或一个结论,就不能仅凭 AI 的肯定语气把它当作已经理解的内容。

用小步实验建立可回看的记录#

每轮开始前,先写清楚这次要验证的问题;运行后,核对实现、比较结果,把结果和未解决的问题记下来,最后更新交接。

我希望逐渐做到:打开文件夹,就能找到研究目标、已有依据、实验结果和当前进度;读完 AI 的解释,也能用自己的话说明它做了什么。

这个视频给我的启发,是把 AI 带来的便利落到可理解、可核查、可接续的日常工作上。对目前的我来说,先整理文件夹、约束表达方式,再逐步完善实验和测评记录,是值得开始的事情。

视频引用来源:Bilibili 原视频(BV1a5Mo6BEoN)。

留下你的声音

聊一聊

无需登录,填写昵称即可留言。评论和昵称会公开显示,邮箱不会公开。

正在连接评论区…