关于预训练权重window_size过大导致爆显存问题 #44
Description
作者您好，非常感谢您开源的工作！
我在尝试应用过程中试图将其agent_swin_b的预训练权重替换至detr模型的backbone中，但是发现很容易出现显存爆炸的情况。
经过尝试我发现似乎是window_size设置为56/96导致的，相比detr中使用swin-transformer常用的12/14/16的window size，56对显存的负荷似乎过大了。
因为我做的试验少不太清楚，请问这么大的window_size对性能的影响是否显著，如果我想将其更改至12是否导致我将无法使用预训练权重？
非常感谢您的工作，希望您能为我解答疑惑，谢谢！