聚合问题

[Wyhls]

“ours” 方法聚合时残差并没有使用SVD分解，此时传输数据量不是和全量参数传输一样吗？您提供的聚合代码如下：
residue = M - lora_B_avg @ lora_A_avg

global_dict[name + ".lora_A.default.weight"] = lora_A_avg
global_dict[name + ".lora_B.default.weight"] = lora_B_avg
global_dict[name + ".base_layer.weight"] += torch.transpose(residue * scaling_factor, 1, 0)

[lylaiyy]

@Wyhls 请问，你复现出的效果和fedit比差距大吗，为什么我复现出的效果感觉和fedit差不多呢

[mynameisissac]

@Wyhls 请问，你复现出的效果和fedit比差距大吗，为什么我复现出的效果感觉和fedit差不多呢

請問是在甚麼任務上的效果和fedit差不多呢?

[lylaiyy]

@mynameisissac almost all sub-datasets of GLUE