关于CoH的实现

作者您好！想请教下实验部分中的CoH基线的实现细节。因为看到CoH的论文中，损失函数部分中还加入了在预训练语料上的损失，想请问您在复现过程中，这部分预训练语料是选取的哪部分呢？
万分感谢您的回复！