Published on

大模型:Token 就是力量!

Authors
Table of Contents

IMPORTANT

  • 模型的价值还远未被彻底释放,它的潜力在于如何将 token 的生成与用户现有的工作流无缝结合,实现模型能力的工具化和自动化;
  • 真正的产品不是单一的模型,而是围绕各种大大小小的模型所搭建的 AI 系统,致力于满足用户需求的同时,还能保持丝滑且良好的用户体验;
  • 这轮 AI 的突破本质上是自然语言处理的革命,而语言作为信息传递和思想表达的最有效媒介,正在被这些 AI 驱动的产品不断放大;
  • LLM 输出的 token 将越来越有价值,这些 token 可以是数学题答案、可执行的代码、sql 或者终端中的命令,配合外部的工具(比如计算器,搜索引擎或者 Python 执行器)执行特定的 Action,从而实现更高的价值。

模型即产品吗

当前,聊天机器人(ChatBot)是生成式 AI 产品最直接的展示形式,这类产品的形态几乎可以说是“模型即产品”,因为在前端的展示与交互基本上都是模型的原始输出。在 ChatGPT 刚出来的时候,我认为模型就是产品,套上可交互的聊天 UI 界面就是一个集成了工具和服务的软件/app,这对于聊天机器人来说,模型即产品,只要模型足够强大,上下文记忆得够多,具备强大的多模态能力,那模型输出的 token 就能满足用户的聊天需求。

NOTE

Token 是自然语言处理中的基本单位,中文一般称为词元,它可以是一个单词、字符或子词。在大语言模型中,文本被分解成 token,模型通过预测这些 token 的顺序来生成语言输出。

例如,句子 “I love you” 可以被分解成三个 token:“I”、“love” 和 “you”。模型通过对这些 token 的处理,理解并生成符合语境的回答或文本。

然而,大语言模型的输出难道只能用于聊天吗?当大语言模型具备了足够长的上下文窗口和强大的多模态能力后,我们能够实现的远远不止于此。

跳脱“聊天”的场景,模型输出的 token 所蕴含的潜在价值还未被充分挖掘。并不是说这些 token 没有价值,它们在解答提问者问题或满足聊天需求方面依然起到了关键作用,但距离发挥其全部潜力仍然差了“最后一公里”。比如以下:

  • 还没 perplexity 的时候,我需要在谷歌搜索返回的链接中费心找答案,或者校验 ChatGPT 的回答来源;
  • 还没 GitHub Copilot/Cursor 的时候,我需要把代码与报错在 vscode 与 GPT/Claude 之间来回复制粘贴;
  • 还没类似 Elmo 这种总结与提问网页的浏览器插件的时候,我需要在阅读的网页与 GPT/Claude 之间来回复制粘贴进行提问;
  • 还没 Notion AI 与 Obsidian 的相关 GPT 插件的时候,我写文章都需要在 Notion/Obsidian 与 GPT/Claude 之间来回复制粘贴;

上述场景表明,虽然模型在生成对话和提供帮助方面已经十分强大,但它的输出仍然局限于孤立的交互流程,用户必须在不同工具和平台之间手动切换、复制粘贴,才能将模型的能力融入实际工作和生活中。这种繁琐的过程不仅降低了效率,也限制了模型在更广泛场景中的应用潜力。

TIP

+ 模型的价值还远未被彻底释放,它的潜力在于如何将 token 的生成与用户现有的工作流无缝结合,实现模型能力的工具化和自动化。

随着时间的推移,我逐渐意识到,在聊天场景外,模型本身并非产品,而更像是核心驱动引擎,一种通用能力,能够根据不同需求进行定制化输出。通过与上下游的数据和服务结合,模型能够构建出更复杂的生态系统。

喜欢的 3 个 AI 产品

我挺喜欢 Perplexity、Notion 和 Cursor 这 3 款产品的,他们对于当前的 AI 有深刻的理解,都在自己的产品上集成了 GPT 和 Claude 等模型。

Perplexity 通过搜索和信息整合能力,让用户能够更快捷地获取深度知识;Cursor 则通过智能化的代码生成和辅助,提升开发者的效率,在将产品接入 Claude-3.5-Sonnet 实现 PMF 后逐渐爆火;Notion 则将 AI 与笔记、知识管理紧密结合,使创作、整理和分享内容更加自然流畅。

这些产品通过深度集成语言模型,展现了 AI 如何改变信息处理的每一个环节,使用户不再局限于简单的交互,而是在复杂的工作流中享受到 AI 的赋能。

Notion CEO Ivan Zhao

  • 我认为 RAG 会彻底改变知识管理的方式,让人们摆脱繁琐的信息组织工作。Notion 最受人喜爱的功能之一是侧边栏,人们会用它整理知识库和个人 workspace。但以后我们可能不再需要这样的工具来组织知识库了。用户只要简单地将信息丢到 Notion 中,就可以通过各种方式进行检索。这就是知识管理的未来。
  • Language model 和 RAG 出现之前,人们之所以需要计算机是因为需要一个地方来存储信息,并且可以随时检索、调用这些信息,但检索主要依赖于关键词,并且这个词要相当精确,因此有的时候还会要求用户具备一些优化关键词的技巧。但有了 RAG 之后,language model 能够理解你输入的内容。所以,我们不需要在 Notion 中专门做信息的组织管理,因为无论我们输入了什么,我们都能顺畅地搜索出来。无论对个人还是团队公司来说,RAG 都提供了很完美的记忆能力这对于个人、公司或团队来说,相当于拥有了完美的记忆。在此之上,如果我们把产品设计得足够好,还能够实现将合适的信息在合适的时间推送给对应的成员,不仅如此,如果我们设计得当,还可以将正确的信息在正确的时间推送给正确的人。可能 50% 以上的知识性工作都是这类任务。
  • 我们可能逐渐就不再需要信息结构化或者类似概念,我们之所以需要把组织和整理信息是因为只有做好这些工作才可以检索,我们需要 index 也是因为 index 就好像文件夹上的各种标签,能够帮我们快速找到各类文件,但因为 embedding 和 RAG ,我们只需要把所有信息放进这个“文件袋”,然后就可以根据需要以任意方式搜索、找到你想要的信息。信息的自由度会大大提升。

Notion 这个产品本来就设计得很赞(除了数据不掌握在自己手里),而 RAG 与模型生成使得 Notion 更赞了,或许以后在 Notion 中就不需要过于费心组织各种标签与文件夹了,AI 可以帮助我们有效的组织各种知识与文档;同时,写作的时候,模型生成的 token 是符合用户需求的文本,用户可以直接使用或进行轻微修改即可,从而显著提高创作效率。

Perplexity CEO Aravind Srinivas

  • 我非常相信那些能够协调模型和数据源、构建出色的用户体验并一直在这里不断创新的人,将在这场包装的战争中生存下来。这会很困难,你创立了一个企业,但每个人都一直担心你会倒闭。但是,随着你积累用户,随着你摸清业务,我觉得基础模型商品化的最大受益者是应用层的公司。
  • 为了输出,你甚至不付月费,你会为单独一次的会话、聊天、输出付费,你会付很多钱。

信息检索是匹配模型能力最重要的 use case,其次重要的可能是教育,这两个是真正匹配今天模型能力的场景。如果大家理解了今天的模型能力,再去理解这种产品是比较 match 的。

Perplexity 找到的是 LLM 最匹配的一个能力的领域:知识工作者,use case 是信息问答,尤其是复杂的信息问答,围绕商业、本地生活等。Google 擅长的是网页的导航,包括交易信息的搜索。Perplexity 其实做的是对应传统搜索中差不多 5% 的复杂问题问答,这个是传统搜索没有做好的,也是搜索中皇冠上的明珠。

Aravind Srinivas 也暗示了之后模型输出 token 的重要性:你会为了单次模型的高价值输出而掏钱,而不是按月付费。

Cursor 团队创始成员

  • 我认为这个领域与过去 2010 年左右的软件领域有些不同,因为这里的上限真的非常高。我认为再等 3-4 年,那时最好的 AI 编程产品可能比现在的要实用得多。
  • 当然,你可以谈论护城河、品牌、优势等等,但如果你在产品创新上止步不前,就会被甩在后面。这对初创公司和想进入这个市场的人来说都是好消息,因为只要你能打造出更好的产品,就有机会超越那些拥有大量用户的竞争者。因此,我认为接下来的几年关键在于打造最好的产品和系统,不仅包括模型引擎的改进,还包括优化编辑体验。
  • 没错,我认为 Cursor 相比其他产品的额外价值不仅仅在于能快速整合 o1 这样的新模型。更重要的是,Cursor 的定制模型在各个方面提供了深入支持,这些模型可能在你不知情的情况下默默发挥作用,每个功能都为用户体验进行了精心设计。

Cursor 将模型无缝嵌入代码编辑器中,直接将用户编辑器中的几行代码、脚本,甚至整个项目作为上下文,免去了以往在 ChatGPT 与 VSCode 之间反复复制粘贴的麻烦。这样的无缝交互使得模型生成的 token(无论是代码还是建议)能够即时应用到工作区,显著简化了操作,提升了工作效率。在改善用户体验的同时,也让模型对整个项目代码有了更深入的理解,从而提供更加精准和上下文相关的建议。

现在全靠 cursor 来完成整个复杂项目可能还不太行,但是辅助编程是很有用的,在 Cursor 中先用 command+I 调出的 composer 来打草稿确是很舒服,然后在自己查看,command+K 针对某段代码进行手术刀级别的修改优化,最后生成的一些没见过不懂的代码在 command+L 调出对话框进行解释,整个 workflow 很流畅,模型编写的代码也比我好很多,我需要做的就是 review 代码(学习),确保就是我想实现的逻辑。

Perplexity 和 Cursor 除了接入 OpenAI 和 Anthropic 的模型外,还端到端的后训练(post-training)了自己的模型(Notion 暂时不清楚,我猜也是有的),这种端到端的训练方式,让他们能够在控制模型表现、优化用户体验以及提升数据隐私和安全性方面,获得更大的自主权。同时,这也显示了 AI 未来发展的一个重要方向:一个优秀的 AI 系统下的产品也不太可能只接入一个模型,那些能够结合自身需求,持续训练和优化模型的公司,将在竞争中占据更大的优势。

TIP

上一轮 AI 热潮是计算机视觉的崛起,而这轮 AI 的突破本质上是自然语言处理的革命,而语言作为信息传递和思想表达的最有效媒介,正在被这些 AI 驱动的产品不断放大。

真正的产品不是单一的模型,而是围绕各种大大小小的模型所搭建的 AI 系统,致力于满足用户需求的同时,还能保持丝滑且良好的用户体验。

Token 的价值

AI 将成为一种通用能力,就像水、电、网络一样,融入我们的日常工作和生活。用户不应该去适应机器,而是让机器越来越适应人。这就像从早期的 Linux 命令行交互到后来图形化界面的演变,技术的进步一直在降低用户的使用门槛。Office 三件套虽好用,但仍需要一定的学习成本。同样,编程和数据分析领域也不例外。

用自然语言描述就能将用户想表达的东西很好的展示出来形成 PPT 或 KeyNote;Excel 中不知道公式怎么写?直接描述你想怎么算就好了。人人都是产品经理,未来是否人人都能编程与数据分析?企业的数据分析必须依赖 SQL 或 Python 吗?其他人能否通过自然语言直接查询数据(text2sql)?

TIP

LLM 输出的 token 将越来越有价值,这些 token 可以是可执行的代码、sql 或者终端中的命令,配合外部的工具(比如计算器,搜索引擎或者 Python 执行器)执行特定的 Action,从而实现更高的价值。

随着 AI 的发展,这些问题的答案越来越清晰。通过语言模型的能力,复杂的操作和编程将越来越自然地嵌入用户的工作流中,不再需要繁琐的技术操作。模型生成的 token 不再只是回应提问的工具,而是在用户已有的工作流中提供更高价值的关键载体。AI 将让技术门槛越来越低,真正实现通用智能能力的普及。

拾象科技

  • 这里可以提一下,成本下降是高度确定的,但不一定是最重要的。最后还是取决于模型最后的经济价值。不是所有的 Token 都有同样的价值, Token 的质量决定了模型的商业模式,比如我今天问 ChatGPT 要买什么股票,它能告诉我买 AWS 还是 Meta,或者告诉我 Tesla 该买还是卖,那其实远比给我一大堆搜索结果、各种报告是有意义的。
  • 单位 token 的价值是更重要的,这还是模型能力本身决定的,这个就代表着一个模型工资的高低。
  • 过去软件是按照人头收费的,因为每一个生产力的单元都是员工,所以软件最主要的增长方式是服务更多的员工,但是进入 AI 时代后,业务或者生产力的增长点可能不在员工数,而是变成 LLM 数,也就是说未来企业的生产力将不再由员工数来决定,而是由企业有多少个 LLM,LLM 能产生多少个 token、它的计算量有多大。这些因素会成为未来企业盈利增长最主要的模式。
欢迎关注微信公众号👏 code
欢迎微信扫码加入我的付费知识星球👏 code