有一类问题可以这样描述:解决起来较为困难但验证相对简单;我对解决问题的方向拿不准(没方向或方向太多)。
这类问题如果需要用 Agent 来“解决”,能力可能是最重要的。曾经遇到过一个问题,交给能力水平为 A < B < C 的三个 Agent 来跑。A 跑了多次,每次都尝试了很多轮均无法解决(当时我还不知道最佳实践,也没办法给太多指引);B 跑了很多轮,结果是好的但过程十分艰辛,也消耗了不少的时间。C 只花了一轮就得到了一个有模有样的答案,并且我根据 Agent 思考过程找到了思路,通过一些提醒后第二轮直接通过验证。
如果考虑综合代价(时间和费用),排序是这样的:A < C < B
可以看到,虽然 A 代价最小,但并没有解决问题,纯亏。B 虽然解决了问题,但探索路径曲折,总代价是最高的。C 虽然费率非常贵,但解决问题很高效,成本反而属于“可接受”。
好消息是,由于模型与 Agent 的迭代,往后可能越来越难遇到这种有区分度的问题/任务了。但对问题/任务的难度评估或许会一直都比较重要,稍有不慎就要承担更大的代价。
当然,也有一种解法就是永远使用最强的模型,但显然这很不经济。
最近安利朋友使用 Agent,对方问了我一个问题:能不能设置成便宜的模型脑子不够用的时候自己去调用更厉害的模型。我想了一下,说:“脑子不够用的人可能无法判断‘自己脑子够不够用’”。
所以“模型路由”其实是一类 exploration–exploitation 问题。