发布于 2024-03-24  13 次阅读


微调训练了一天RWKV6模型,非常失败,可能是数据量太大,没调好参数,有空再试试。

LoRA R:可训练的参数量,如果你正在使用一个较大的模型,或/且有较多的训练数据,那么可以适当增加LoRA R,例如增加到16,32。

最后更新于 2024-03-24