关于trajectory消融研究table 3， +special_token的打开方式

[Nicccccco]

你好，
robobrain提供了一个很好的baseline，有个问题想要请教一下，在论文的table 3中可以看到，加上special_token之后，提升明显，在训练和推理的时候具体是怎么来使用的呢？（e.g. 如何构造一个训练时的conversation case？在推理的时候，加特别的标识符在一些位置能够提升表现？）

[Yuheng2000]

感谢关注我们的工作！
我们的核心思想是让模型学会将特定的输出内容与一个明确的“任务标识”关联起来。具体操作上，我们只在特定任务的训练数据中，对模型需要生成的“答案”部分（即 conversation 中 from: "gpt" 的部分）进行修改。
例如，对于轨迹预测（trajectory prediction）任务，一个训练样本会像这样构造：

{
  "id": "traj_sample_001",
  "image": "path/to/image.jpg",
  "conversations": [
    {
      "from": "human",
      "value": "Based on the image, predict the robot's trajectory to grasp the red block.\n<image>"
    },
    {
      "from": "gpt",
      "value": "<traj>[(0.5, 0.5), (0.6, 0.5), (0.7, 0.6)]</traj>"
    }
  ]
}

在推理时，就正常infer即可，不需要在prompt中主动添加这些 special token。