微调训练了一天RWKV6模型,非常失败,可能是数据量太大,没调好参数,有空再试试。
LoRA R:可训练的参数量,如果你正在使用一个较大的模型,或/且有较多的训练数据,那么可以适当增加LoRA R,例如增加到16,32。
代码可以重写,人生却只有一次运行机会,终极改写......
发布于 2024-03-24 221 次阅读
微调训练了一天RWKV6模型,非常失败,可能是数据量太大,没调好参数,有空再试试。
LoRA R:可训练的参数量,如果你正在使用一个较大的模型,或/且有较多的训练数据,那么可以适当增加LoRA R,例如增加到16,32。
Comments NOTHING