终极 改写 发布于 2024-05-17 237 次阅读


正在开发一个带RAG功能的AI机器人,本来想全部用RWKV6模型做embedding+chat,这样可以减少一个模型的使用,理论上消耗的资源会更小一些,但遇到问题,由于后端使用AI00,它的embedding接口每次只会返回一个相同的值,刚开始试过是返回不同的值,但后面不知道为何就一直不变,群里问了AI00的作者表示不能使用OPENAI API方式调用,明明项目文档上写着支持OPENAI API,结果只有一部分功能支持,晕……继续问如何使用就再没有答复了。

现在用专门的embedding模型实现了功能,效果还不错,不再纠结于使用RWKV了,这样也有个好处,我可以灵活使用更多的模型组合去驱动。