AI 文摘

律自由|法律AI产品研发实战踩坑经验分享:Agent中模型规划能力真的重要吗?





作者: 律自由法律咨询 来源: 律自由法律咨询

PART.01

引言

《我捏了1个某某Agent》似乎这成了大家证明自己正在紧跟时代潮流,没落伍的一个标签。

Agent产品中模型规划能力是真正区别于传统应用的核心点,事实上如字节的Coze这种由人进行规划工作流,用原子能力执行具体任务的模式搭建出的Agent,和传统的应用开发并没有本质的区别,区别只是大模型API替代了很多传统的function calling。而非我们所做理解的真正的“Agent”

也许我们对AI的预期过高,在我们律自由(法律AI产品)的项目早期,有意识的尽可能用高估AI技术的意识来考虑产品设计

目的是让我们能走在行业前面一步,因此在大模型的规划能力上我们做了相当多的研究。

但事实上呢?

**PART.**02

####律自由模型有规划能力么?****

我们的律自由项目是一个致力于通过大模型技术,提供智能化的法律服务的产品。我们需要考虑的是,当一个法律问题出现的时候,我们的律自由是否要负责对该法律问题的解决方案进行规划,指引后续法律服务流程的进行。这个问题在我们的项目早期摇摆过多次,团队内整体氛围2个观点派系。

0****1

冲冲冲派系:

要!必须有AI规划能力,这样才有机会颠覆行业

这个派系主要有2个阵营

1、产品团队阵营:AI技术的终局对行业的颠覆就在于AI的规划能力,Agent的规划能力是第一步,做AI产品绝不仅仅是解决某个环节的效率问题,那样简直太无聊了。

2、研发团队阵营:规划能力用1个好的基座模型做是可以做到的,我们跟着产品混,但调prompt的事情我们不管。

0****2

别扯淡派系:

不要!Ai能规划个锤子,真的么?我不信

这个派系也有2个阵营

1、市场/运营团队:消费者对AI的信赖感不足,如果让AI做整体规划,客户不会买账的,摆脱别给我们惹麻烦。

2、律师团队:规划出来了也没用,法律服务过程非常漫长和复杂,最后还不是需要我们来实际办案。

最终两条路我们都走了,事实上最后“冲冲冲派系”付出了更大的代价。

本质的原因还是没有深度的理解消费场景,过于的聚焦于AI技术对行业改造和颠覆的机会上了。

首先大背景是我们是选择了先从toC试点推广

原因以后再和大家介绍。

  • 用户在买单前,建立信任的工作谁来做。AI么?显然还是高度依赖律师团队提供的“安全感”、“共情”、“专业度”等服务和情绪价值。

  • 用户买单后,当下AI有能力在办案环节通过规划起到引领法律服务么?显然即便有一定的能力,我们也并不敢这样向消费者交付。

那AI的规划能力对业务到底有什么用?,它是不是沦为一个秀技术的“小玩具”了。

规划能力是建立在足够丰富的客观事实信息+强大的逻辑能力,事实信息不足是个更大的问题。Agent巧妇难为无米之炊,不懂法律的用户实际上并不知道怎么把客观事实表达完整(这也是法律行业的门槛之一)。最后的局面是:

  • Agent在前面狂飙。

  • 产品左手拿着prompt。

  • 右手求着运营团队在后面擦屁股。

从业务的角度投入产出实际上很低。

对我们来说,我们搭建了很棒的Agent的规划能力,但它没有发挥出它的价值。

**PART.**04

模型规划能力真的重要么?

从我们自己的实践和试错中复盘,我想有对所有人都很重要的1件事是。大家似乎被AI博主天天“颠覆”+“细思极恐”+“震惊”,以及海外厂商不定期发出的“大招”搞得很焦虑,似乎行业随时可能被AI技术颠覆。

这种焦虑很多时候会让思考和动作变形,而导致我们忽略了最重要的是行业的消费需求是什么?这也让我深感到最终真正能做出好的Agent产品的团队,绝不是单纯的技术驱动团队,而是能对行业的消费需求有深度理解的团队。

那么回到对行业内的众多Agent开发者来说,模型的规划能力是否重要这件事情。

我想把Agent产品分为2类来讨论

【1、秀技术/秀idea的Agent产品】

规划能力一定是最重要的,反而是function calling的任务执行能力,我相信各大模型厂商会很快可以提供越来越多和好的能力。半年之后它可能只是1个基本操作(前期是不要期望100%准确率)。而规划能力是真正更趋近于终局AGI的重要一环,它是一个更值得去“秀”的点。

【2、现在要解决一些行业问题的Agent产品】

规划能力也许2年之内都不重要:

首先是消费者的认知、消费习惯尚未建立,如果是真正要投入市场运营的产品,不要高估AI被消费者的接受程度。

其次是AI提供的服务,现阶段的Agent真的投入到市场的竞争中,实际上很难优于产业内已经成熟的服务体系(效率也许能提升,但效率跟模型规划能力关系微弱)

最后是模型能力,经过我们Agent在前面狂飙,产品左手拿着prompt,右手协调着运营团队在后面擦屁股的历练,事实证明AI具备这种能力,但如果你所做的行业是类似于我们法律行业一样对交付方案的专业度有强要求的话,大模型当下的能力依然有明显欠缺。

**PART.**04

我们会继续深耕规划能力么?

我们依然认为以规划能力为核心的Agent是未来的产品终态,我们依然会在这个环节发力。

  • 把消费者的接受度教育交给时间

  • 把大模型的function calling的提升交给模型厂商

  • 而我们则聚焦于与大模型在法律问题的方案规划能力、办案具体环节的模型支撑效果2方面。

为了积累优质的办案思路数据和经验,我们开发了国内首创的律师探索式办案平台(产品内测中,不便展示),将律师办案的思维过程完全数字化/可视化,为后续将模型的规划能力提升积累核心数据,并为律师团队提高办案效率。这将是在未来法律AI产品真正实现AGI的时候,我们所具备的核心数据资产和壁垒。

欢迎试用我们的律自由小程序。也欢迎加入我们共建有价值的AI产品。

更多AI工具,参考Github-AiBard123国内AiBard123

可关注我们的公众号:每天AI新工具