我自己理解的“消费token”应该是“挥霍”。挥霍大量的token去换取我想要的信息和感受,这种挥霍不一定是有什么回报预期的,但就是想这么跑一下。
我的“完美许愿器”和“猫咪塔罗占卜”可能也算是一种对token的消费。有点像请大家吃饭,大家随便吃,都算我的。
我自己搭建的一套信息抽取系统也算是“挥霍”。定义输入是各种主题的ndjson,可以是群聊消息,可以是自己或别人的微博数据。然后定义一个“目标”后就开始遍历,当然这个遍历的粒度也是可控的,但不管怎样都免不了多次调用LLM。因为每次请求返回也是json,又可以存成ndjson。
这种“挥霍”不是一次性的,可能上午遍历一遍聊天记录只为了了解大家的某种特质。下午又想遍历一下找到大家推荐过的书籍有哪些。而遍历后产生的ndjson又可以用来再遍历,生成别的东西。又或是用A模型遍历一次,再用B模型也遍历一次,C模型用来汇总合并。
把遍历数据当作一种函数,只不过每次全量调用的时候都会挥霍掉不少钱。
在以前我可能还会在生成完task后统计一下输入token有多少,用A模型要多少钱,B模型要多少钱,有了预算之后再跑全量。现在不管了,只检查单个task本身有没有超过上下文窗口。要跑500次那就跑500次,要100元那就100元。
有时候是能拿到自己想要的东西,有时候却毫无收获。但没关系,所有信息也都继续存下来,以后说不定有用呢?另外也有点试图“暴力破解”一堆数据的意味。