How to use fp8 or fp4 for flux?

Good work，对于工程来说显存占用很大，单stage要35G左右，考虑引入flux量化版本。但是因为使用的是魔改diffusers，会导致量化模型引入出错，是否有考虑过解决？