'metric_cache/llama2_ratio_13.txt'文件是怎么生成的

[Peroplex]

由于我服务器的问题，我无法成功运行该项目。我在查看代码时对这个文件的生产和里面的具体内容存在疑惑。可以解答一下这个文件是在哪里生成的，以及里面的具体内容是什么吗？

[ZhaoYunfei94]

同样想问，这直接把llama2-7b每层的重要性权重计算出来了，最核心的一步没有，和LISA的随机采样又有什么区别

[pixeli99]

hi,

@Peroplex @ZhaoYunfei94

https://github.com/luuyin/OWL 可以暂时用这个 repo 来生成 metric 文件，后面我会整合到当前 repo 中

具体而言，

https://github.com/luuyin/OWL/blob/dddb7a4bffe27c73e4c8cf692b3a5e36401532c8/lib/prune_all.py#L237

可以复用这个函数来得到不同 LLM 的 layer metric

如果运行中有任何问题，欢迎留言～