有些LLM的开发者后台体验其实是稍差一些的。比如在用量信息界面,不同 Key 的用量没有做区分,这就会存在一些问题。
即便我为不同的应用创建独立的 API Key,也无法从账单上区分各个应用的调用情况。这事往小了说就是“我不知道今天的3000次调用是哪里花掉的”。但更恼人的情况是,出现滥用/恶意调用的情况下,不知道该注销哪个Key。
不过仔细想想,“规避接口被恶意频繁调用”这件事应该在应用逻辑上做好限制,不能完全赖在LLM服务商没有按key区分这件事上。有点属于我觉得应该有,但不是必须的需求。
应用内置LLM,在未来应该是会越来越常见,但这对独立开发者来说确实有点难办。唯一能想到的思路就是变成付费,按次按量都行,反正就得收费。但“能计费”本身也是一种门槛。更何况我更想不设限让大家以较低的门槛去体验我做的小玩具。这种情况下就是很矛盾了,也无法实现什么措施去区分“正常使用”与“滥用”。