Tomer Tunguz:专用决策器可将AI分类成本降低近百倍
摘要
Tomer Tunguz提出,Jev与SemIf等专用决策器正接管软件中的if-then判断,其响应仅需数百毫秒,成本比传统生成式调用低76至209倍。在98条人工核验邮件线程测试中,Jev分类准确率达80%,本地SemIf达82%,远超生产模型的47%。
在软件工程中,if-then判断是最基础的控制流原语之一。Tomer Tunguz近日撰文指出,最新一波AI正在逐步接管这类判断任务,而执行者并非通用大模型,而是Jev、SemIf等专用决策器。
这类专用决策器的核心优势体现在速度与成本两端。据Tunguz披露,它们能在数百毫秒内返回结果,成本较传统生成式调用低约76倍至209倍。这一差距意味着,在需要高频、低延迟判断的场景中,专用方案具备显著的经济性。
Tunguz在自己的Agent系统中进行了替换实验,将约四分之一的调用改为专用决策器。在98条经过人工核验的生产邮件线程上,Jev的分类准确率达到80%,本地部署的SemIf则达到82%。作为对照,原本使用的生产模型准确率仅为47%。
这一结果揭示了一个值得关注的趋势:在特定分类任务上,轻量级专用模型不仅成本更低,准确率也可能反超通用大模型。对于AI从业者而言,如何在Agent架构中合理分配专用与通用调用,或将成为优化成本与效果的关键课题。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗