咨询专家数量

[xauat-liushipeng]

非常感谢作者们的杰出工作，但阅读论文后有些疑问，希望作者能给出解答。

1.有没有尝试更多专家情况？论文中表明理论上K<<E会更好，但是实际实验最佳配置中只是E=4，K=2。
2.另外表8中的config 5，MoE权重还是1.5吗，从表格上来看感觉0.5或1.0可能会更好？是否是填写错误呢？

[isLinXu]

感谢关注我们的工作，解答如下：
1、有尝试更多的Expert数量，扩增到8和16，具体可见v0.1版本的cfg，这里对应的- [-1, 1, ModularRouterExpertMoE, [512, 4, 2]]，512通道数后面就是Expert数量和top-k激活数量；关于E和K的更多实验仍然在补充中，应该会做一些矩阵来计算和平衡参数量和计算效率。
2、MoE权重还是1.5，但目前这个值也还有调整的空间；