--- title: "Toolformer — 工具塑成模型" source: "https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B" wiki: "systems-analysis.info/int" article: "Toolformer_—_工具塑成模型" language: "zh" categories: - "Category:Chinese" - "Category:Large language models" - "Category:Machine learning" - "Category:Prompt engineering" revision_id: 8178 wiki_created_at: 2026-09-07T01:13:27Z wiki_modified_at: 2026-09-07T01:13:27Z downloaded_at: 2026-09-07T23:23:47Z --- # Toolformer — 工具塑成模型 **Toolformer** 是一种构建**大语言模型**（**LLM**）的方法，使其能够通过调用**API**自主使用**外部工具**^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}。该方法由 Meta AI Research 和庞培法布拉大学（西班牙）的一组研究人员于2023年提出。在其论文《Toolformer: Language Models Can Teach Themselves to Use Tools》（Timo Schick et al., 2023）中，作者指出了一个悖论：现代 LLM 在通过文本示例解决复杂新任务方面表现出惊人的能力，但常常无法可靠地执行基本操作，例如计算或事实查找^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}。为了克服这些限制，该团队开发了 Toolformer 模型，该模型能够**自学习选择和调用外部工具**（如搜索引擎、计算器或翻译服务），以提高完成各种任务的质量^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}。2023年2月，该模型以预印本形式在 arXiv 上发布，随后获得认可并被 NeurIPS 2023 会议接收^{[\[2\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-openreview-2)}。 ## 模型的核心思想与能力 Toolformer 是一个经过微调的语言模型，能够决定**调用哪个工具、何时调用、传递什么参数，以及如何将返回结果整合到生成文本中**^{[\[3\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-original-3)}。其训练过程采用**自监督模式**（**self-supervised**）——模型自行生成并评估 API 使用示例，每个工具仅需少量（通常只有几个）演示样本^{[\[3\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-original-3)}。与以往的方法不同，该模型无需大量标注数据或面向人类的模板来集成工具；模型能够自行学习**何时以及如何应用某个 API**，同时保留其通用的语言能力，且不局限于特定任务^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}。作者为 Toolformer 集成了多种可通过简单 API 调用访问的工具。在实验版本中，使用了以下实用工具^{[\[3\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-original-3)}： - **计算器** – 用于执行算术计算。 - **问答（Q&A）系统** – 用于在知识库中查找事实性问题的答案。 - **搜索引擎**（2种不同类型）– 用于在互联网上搜索最新信息。 - **机器翻译系统** – 用于在不同语言之间翻译文本。 - **日历** – 用于获取日期和时间信息。每个工具都以文本片段（一种特殊的文本标签）的形式表示，这使得模型能够**将 API 调用直接嵌入其生成的文本中**^{[\[4\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-medium-oxenai-4)}。例如，模型可以在当前上下文中插入类似 \`\[Calculator(...)\]\` 或 \`\[Search("查询")\]\` 的结构，表示需要进行外部调用。在生成响应时，Toolformer 会生成一个特殊符号（箭头 →），系统据此暂停生成并执行相应的 API 调用；获取的结果被替换到文本中，然后继续生成后续内容^{[\[4\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-medium-oxenai-4)}。这种机制使模型能够在不改变其架构的情况下，**动态地利用**外部服务的能力，同时保持其作为单一语言模块的完整性。 ## 模型训练（方法论）开发者将 Toolformer 的训练过程描述为几个阶段^{[\[4\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-medium-oxenai-4)}，利用**上下文学习**（in-context learning）技术生成合成数据^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}： 1. **生成候选 API 调用**。首先，从大型语料库（如文章或网页）中提取文本，并**人为地插入**可能有助于延续或补充文本的工具调用。这些插入是由模型基于每个 API 的少数手动指定的使用范例，通过少样本提示（few-shot prompting）自行生成的^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}。例如，模型可能会收到一个片段：“2024年，该市人口为 \[QA("该市人口是多少？") → ...\] 人”，其中 QA() 是对问答系统的调用，旨在返回缺失的数据。模型会为每个工具选择合适的上下文；例如，对于计算器，模型会选择包含多个数字和“等于”或“总计”等词语的句子^{[\[4\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-medium-oxenai-4)}——即那些确实需要算术结果的地方。 2. **执行 API 调用并扩充数据**。接下来，所有由模型生成的调用都将被**实际执行**——例如，向搜索引擎发送查询或用计算器计算表达式。返回的答案被插回文本中，形成带有 \`{答案}\` 插入的完整句子变体^{[\[4\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-medium-oxenai-4)[\[4\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-medium-oxenai-4)}。同时，也会保留“空”版本（未插入答案的版本）以及没有任何调用的原始文本，以供后续比较。 3. **过滤与效用自评估**。在此阶段，Toolformer 自行评估哪些生成的 API 插入对于预测文本后续内容确实有用^{[\[4\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-medium-oxenai-4)}。模型会比较在三种情况下继续生成文本的概率：（a）不进行任何调用，（b）进行工具调用但未插入结果，（c）进行调用并插入结果^{[\[4\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-medium-oxenai-4)}。如果添加某个 API 响应能增加模型正确续写短语的概率（即确实有助于模型预测后续词语），那么该样本就被认为是有用的。只有那些**能带来概率增益**的插入才会被保留在样本集中。通过这种方式，可以筛除那些工具调用多余或未提供新信息的情况。最后，模型在经过筛选的数据集上进行**微调**（**fine-tuning**），该数据集包含带有优化插入的 API 调用真实文本示例^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}。训练遵循标准的语言建模目标——预测序列中的下一个词元（token），包括表示工具调用结果的词元。值得强调的是，为集成每个新工具，仅需**几个手动创建的示例**——此后训练数据的生成便自动进行^{[\[3\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-original-3)}。因此，Toolformer 方法几乎不依赖于专门的标注语料库，并**最大限度地减少了**数据标注的人工成本。模型自行学习 API 调用的格式和适用性，并在此过程中保持其通用性：它仅在确实需要解决特定任务时才使用工具^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}。 ## 实验结果为了对该方法进行实验验证，研究人员采用了一个现有的语言模型**GPT-J**（67亿参数）——这是一个在 The Pile 语料库上训练的开源 LLM^{[\[4\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-medium-oxenai-4)}。他们按照上述流程对该模型进行了微调，从而得到了基于 GPT-J 的 Toolformer。新方法的性能在一系列标准任务上以**零样本**（**zero-shot**）模式进行评估，这些任务包括数学应用题求解、事实查找、知识问答（QA），以及翻译和文本填空。测试数据采用了多个公开数据集，例如 Natural Questions、TriviaQA（用于评估事实知识），ASDiv、MAWPS、SVAMP（算术应用题），以及多语言 QA 基准 MLQA、LAMA^{[\[5\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-paperswithcode-5)}。结果显示，Toolformer 在许多任务上**显著优于**同等规模的原始模型^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}。此外，通过接入工具，这个相对较小的模型（67亿参数）在多项指标上**超越了规模大得多的 GPT-3 模型**（1750亿参数）^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)[\[6\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-fewshot-6)}。例如，在需要精确计算的数学应用题中，Toolformer 展现了相较于普通 LLM 的显著进步，它能**借助计算器精确求解**这类问题，而即使是 GPT-3 也可能出错^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}。在事实性问答（QA）测试中，基于 GPT-J 的 Toolformer 同样表现出与 GPT-3 相当甚至更优的回答质量，因为它能够通过互联网搜索获取最新信息^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}。同时，重要的是，新方法**并未损害语言模型的通用能力**，例如在普通数据上连贯地续写文本：Toolformer 在不使用工具的情况下，其自然语言生成水平与原始的 GPT-J 相当^{[\[3\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-original-3)}。换言之，添加 API 调用功能并未“剥夺”模型的基础技能，而是在其之上扩展了额外的能力。 ## 研究意义与未来方向 Toolformer 的开发证明了**在几乎没有人工标注的情况下，训练模型使用外部工具**的根本可能性，这主要得益于合成数据的生成和效用的自我评估。这一成就为构建更**高效、更可靠**的大语言模型开辟了道路：一个相对紧凑的模型可以**动态调用外部资源**（如知识库、计算器、各种服务）来弥补自身的不足，而不是通过增加数十亿参数来记忆事实或数学规则^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)}。这种方法有助于减少“幻觉”（即模型捏造不存在的信息），提高答案的准确性和知识的时效性，而无需对整个模型进行彻底的重新训练。本质上，Toolformer 实现了**“两全其美”**——将大型模型的语言能力与专用工具的精确性相结合^{[\[3\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-original-3)}。 Schick 及其同事的这项工作是首批展示 LLM 自主掌握外部 API 的研究之一，并在学术界引起了广泛关注。此后出现了许多发展这一理念的后续研究。例如，2023年提出的**Graph-ToolFormer**模型，将 Toolformer 的原理应用于处理图数据。Graph-ToolFormer 借助 ChatGPT 生成的提示，教会语言模型调用外部工具来解决图分析任务（如获取图属性、处理知识网络等）^{[\[7\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-graphtoolformer-7)}。另一项值得注意的进展是**Gorilla**模型（加州大学伯克利分校，2023年），它专注于精确使用大量第三方软件 API^{[\[8\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-gorilla-8)}。Gorilla 是一个在大量带文档的函数上进行微调的 LLaMA 模型；它能根据任务描述生成**正确的 API 调用**，其表现非常成功，在实验中，其生成库和服务调用的准确性甚至超过了 GPT-4^{[\[8\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-gorilla-8)}。Gorilla 还集成了文档检索机制，使其能够更新有关 API 变更的信息，从而显著减少使用工具时的错误和幻觉^{[\[8\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-gorilla-8)}。这些研究证实了 Toolformer 所开创方向的重要性：将 LLM 与外部工具相结合，被视为创建更强大、更可靠 AI 系统的一条有前景的路径。值得注意的是，将工具集成到语言模型中的理念不仅在研究领域发展，也已进入工业界。例如，2023年3月，OpenAI 公司推出了**ChatGPT 插件**系统——一个特殊的接口，允许将模型连接到外部服务（如网络浏览器、知识库、计算引擎等），以获取最新信息并执行计算^{[\[9\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-openai-plugins-9)}。用户长期以来一直期待这样的功能，而插件的出现实际上是将与 Toolformer 相似的概念付诸实践：通过添加“工具”来扩展模型的能力，以解决各种用户请求^{[\[9\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-openai-plugins-9)}。因此，Toolformer 契合了人工智能发展的总体趋势，即大语言模型正在成为一个能够按需调用外部知识和计算能力的**平台**。Meta AI 和 UPF 团队的这项研究为该方向奠定了重要基础，展示了 LLM 如何在几乎无需人工指导的情况下学会使用工具，从而向着更通用、更安全的智能助手迈进^{[\[1\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-synced-review-1)[\[3\]](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_note-arxiv-original-3)}。 ## 外部链接 - 原始论文《Toolformer: Language Models Can Teach Themselves to Use Tools》在 arXiv 上的链接 - Synced Review 对 Toolformer 的评述 - Toolformer 在 OpenReview 上的页面 - Medium 上对 Toolformer 的评述 - 关于 Gorilla 模型的 arXiv 论文 - OpenAI 官网的 ChatGPT 插件页面 ## 参考文献 - Schick, T. et al. (2023). *Toolformer: Language Models Can Teach Themselves to Use Tools*. arXiv:2302.04761. - Schick, T. et al. (2023). *Toolformer: Language Models Can Teach Themselves to Use Tools*. NeurIPS 2023. OpenReview. - Li, M. et al. (2023). *API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs*. arXiv:2304.08244. - Zhang, T. et al. (2023). *Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT*. arXiv:2304.11116. - Patil, S. G. et al. (2023). *Gorilla: Large Language Model Connected with Massive APIs*. arXiv:2305.15334. - Qin, Y. et al. (2023). *ToolLLM: Facilitating Large Language Models to Master 16 000+ Real-World APIs*. arXiv:2307.16789. - Li, Y. et al. (2024). *Tool Learning with Large Language Models: A Survey*. arXiv:2405.17935. - OpenAI (2023). *ChatGPT Plugins*. OpenAI Blog. - Brown, T. B. et al. (2020). *Language Models Are Few-Shot Learners*. arXiv:2005.14165. - Schick, T. et al. (2023). *Meta AI & UPF’s Toolformer: Enabling Language Models to Teach Themselves to Use External Tools*. Synced Review. ## 注释 1. ↑ ^{[1.00](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-0)} ^{[1.01](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-1)} ^{[1.02](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-2)} ^{[1.03](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-3)} ^{[1.04](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-4)} ^{[1.05](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-5)} ^{[1.06](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-6)} ^{[1.07](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-7)} ^{[1.08](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-8)} ^{[1.09](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-9)} ^{[1.10](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-10)} ^{[1.11](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-11)} ^{[1.12](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-12)} ^{[1.13](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-synced-review_1-13)} Schick, T. et al. «Meta AI & UPF's Toolformer: Enabling Language Models to Teach Themselves to Use External Tools». *Synced*. [1] 2. [↑](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-openreview_2-0) Schick, T. et al. «Toolformer: Language Models Can Teach Themselves to Use Tools». *OpenReview*. [2] 3. ↑ ^{[3.0](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-original_3-0)} ^{[3.1](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-original_3-1)} ^{[3.2](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-original_3-2)} ^{[3.3](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-original_3-3)} ^{[3.4](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-original_3-4)} ^{[3.5](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-original_3-5)} ^{[3.6](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-original_3-6)} Schick, T. et al. «Toolformer: Language Models Can Teach Themselves to Use Tools». *arXiv*. [3] 4. ↑ ^{[4.0](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-medium-oxenai_4-0)} ^{[4.1](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-medium-oxenai_4-1)} ^{[4.2](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-medium-oxenai_4-2)} ^{[4.3](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-medium-oxenai_4-3)} ^{[4.4](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-medium-oxenai_4-4)} ^{[4.5](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-medium-oxenai_4-5)} ^{[4.6](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-medium-oxenai_4-6)} ^{[4.7](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-medium-oxenai_4-7)} ^{[4.8](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-medium-oxenai_4-8)} OXEN AI. «Arxiv Dives Toolformer: Language models can teach themselves to use tools». *Medium*. [4] 5. [↑](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-paperswithcode_5-0) «Toolformer: Language Models Can Teach Themselves to Use Tools». *Papers With Code*. [5] 6. [↑](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-fewshot_6-0) Brown, Tom B. et al. «Language Models are Few-Shot Learners». *arXiv*. [6] 7. [↑](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-graphtoolformer_7-0) Zhang, Tingkai et al. «Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT». *arXiv*. [7] 8. ↑ ^{[8.0](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-gorilla_8-0)} ^{[8.1](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-gorilla_8-1)} ^{[8.2](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-arxiv-gorilla_8-2)} Patil, Shishir G. et al. «Gorilla: Large Language Model Connected with Massive APIs». *arXiv*. [8] 9. ↑ ^{[9.0](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-openai-plugins_9-0)} ^{[9.1](https://systems-analysis.info/int/Toolformer_%E2%80%94_%E5%B7%A5%E5%85%B7%E5%A1%91%E6%88%90%E6%A8%A1%E5%9E%8B#cite_ref-openai-plugins_9-1)} «ChatGPT plugins». *OpenAI*. [9]