---
title: "Toolformer"
source: "https://systems-analysis.info/wiki/Toolformer"
wiki: "systems-analysis.info/wiki"
article: "Toolformer"
language: "ru"
categories:
  - "Категория:Prompt инжиниринг"
  - "Категория:Russian"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
revision_id: 196
wiki_created_at: 2026-09-06T22:05:14Z
wiki_modified_at: 2026-09-06T22:05:14Z
downloaded_at: 2026-09-07T22:18:15Z
---

# Toolformer

**Toolformer** — это подход к созданию **[больших языковых моделей](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели")** (**LLM**), позволяющий им самостоятельно использовать **внешние инструменты** через вызовы **API**<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>. Данный метод предложен в 2023 году группой исследователей из Meta AI Research совместно с Университетом Помпеу Фабра (Испания). В своей работе «Toolformer: Language Models Can Teach Themselves to Use Tools» (Timo Schick et al., 2023) авторы отмечают парадокс: современные LLM демонстрируют впечатляющие способности решать сложные новые задачи по текстовым примерам, но при этом часто неспособны надежно выполнять базовые операции – например, счёт или поиск фактов<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>. Чтобы преодолеть эти ограничения, команда разработала модель Toolformer, которая **самообучается выбирать и вызывать внешние инструменты** (такие как поисковые системы, калькуляторы или сервисы перевода) для повышения качества выполнения разнообразных заданий<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>. В феврале 2023 года эта модель была представлена в виде препринта на arXiv, а позднее получила признание и была принята на конференцию NeurIPS 2023<sup>[\[2\]](https://systems-analysis.info/wiki/Toolformer#cite_note-openreview-2)</sup>.

## Основная идея и возможности модели

Toolformer представляет собой дообученную языковую модель, способную решать, **какой инструмент вызвать, когда именно его вызвать, какие передать параметры, и как включить полученный результат в генерируемый текст**<sup>[\[3\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-original-3)</sup>. Обучение организовано в **самонаблюдаемом режиме** (**self-supervised**) — модель сама генерирует и оценивает примеры использования API, требуя лишь небольшой набор демонстраций (буквально несколько примеров) для каждого инструмента<sup>[\[3\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-original-3)</sup>. В отличие от предыдущих подходов, не требуются обширные разметки или человекоориентированные шаблоны для интеграции инструментов; модель сама учится **когда и как применять тот или иной API**, сохраняя общие языковые способности и не ограничиваясь узко заданными задачами<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>.

Авторы интегрировали в Toolformer широкий спектр инструментов, доступных через простые API-вызовы. В экспериментальной версии были задействованы следующие утилиты<sup>[\[3\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-original-3)</sup>:

- **Калькулятор** – для выполнения арифметических вычислений.
- Система **«вопрос-ответ» (Q&A)** – для поиска ответов на фактологические вопросы по базе знаний.
- **Поисковые системы** (2 разных) – для поиска актуальной информации в интернете.
- Система **машинного перевода** – для перевода текстов между языками.
- **Календарь** – для получения сведений о датах и времени.

Каждый инструмент представлен в формате текстового фрагмента (специальной текстовой метки), что позволяет модели **встраивать вызов API прямо в генерируемый ею текст**<sup>[\[4\]](https://systems-analysis.info/wiki/Toolformer#cite_note-medium-oxenai-4)</sup>. Например, модель может вставить конструкцию вида \`\[Calculator(...)\]\` или \`\[Search("запрос")\]\` в текущий контекст, сигнализируя о необходимости внешнего обращения. Во время вывода ответа Toolformer генерирует специальный символ (стрелка →), по которому система приостанавливает генерацию и выполняет соответствующий API-вызов; полученный результат подставляется в текст, после чего продолжается генерация следующего фрагмента<sup>[\[4\]](https://systems-analysis.info/wiki/Toolformer#cite_note-medium-oxenai-4)</sup>. Такой механизм позволяет модели **динамически привлекать** возможности внешних сервисов, оставаясь при этом единым языковым модулем без изменения архитектуры.

## Обучение модели (методология)

Разработчики описали процесс обучения Toolformer в несколько этапов<sup>[\[4\]](https://systems-analysis.info/wiki/Toolformer#cite_note-medium-oxenai-4)</sup>, используя технику **обучения в контексте** (in-context learning) для генерации синтетических данных<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>:

1.  **Генерация кандидатов вызовов API**. Сначала берутся тексты из большого корпуса (например, статей или веб-страниц) и в них **искусственно вставляются** вызовы инструментов, которые потенциально могут помочь продолжить или дополнить текст. Эти вставки модель генерирует сама с помощью N-примерного промптинга, опираясь на несколько вручную заданных образцов использования каждого API<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>. Например, модель может получить фрагмент: «В 2024 году население города составляло \[QA("Какова численность населения этого города?") → ...\] человек», где QA( ) — вызов системы вопросов-ответов, который должен вернуть недостающие данные. Для каждого инструмента отбираются подходящие контексты; так, для калькулятора модель выбирает предложения, содержащие несколько чисел и слова вроде «равно» или «итого»<sup>[\[4\]](https://systems-analysis.info/wiki/Toolformer#cite_note-medium-oxenai-4)</sup> — там, где арифметический результат действительно понадобится.
2.  **Выполнение API-вызовов и дополнение данных**. Далее все сгенерированные моделью вызовы **реально выполняются** — например, отправляются запросы в поисковик или вычисляются выражения на калькуляторе. Полученные ответы подставляются обратно в тексты, формируя завершённые варианты предложений с вставками вида \`{ответ}\`<sup>[\[4\]](https://systems-analysis.info/wiki/Toolformer#cite_note-medium-oxenai-4)[\[4\]](https://systems-analysis.info/wiki/Toolformer#cite_note-medium-oxenai-4)</sup>. Одновременно сохраняются и «пустые» варианты (без подстановки ответа), а также исходные тексты без всяких вызовов – для последующего сравнения.
3.  **Фильтрация и самооценка полезности**. На этом этапе Toolformer самостоятельно оценивает, какие из сгенерированных API-вставок действительно полезны для предсказания продолжения текста<sup>[\[4\]](https://systems-analysis.info/wiki/Toolformer#cite_note-medium-oxenai-4)</sup>. Проводится сравнение вероятности языковой модели продолжить текст в трёх сценариях: (а) без всякого вызова, (б) с вызовом инструмента без подстановленного результата, (в) с вызовом и подставленным результатом<sup>[\[4\]](https://systems-analysis.info/wiki/Toolformer#cite_note-medium-oxenai-4)</sup>. Если добавление конкретного API-ответа увеличивает модельную вероятность правильного продолжения фразы (то есть действительно помогает модели предсказать последующие слова), то такой пример считается полезным. Только вставки, **дающие выигрыш в вероятности**, остаются в выборке. Таким образом отсеиваются случаи, когда вызов инструмента был избыточным или не внёс новой информации. Наконец, модель дообучается (**fine-tuning**) на полученном отфильтрованном датасете, содержащем реальные примеры текста с оптимально вставленными вызовами API<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>. Обучение выполняется по стандартной цели языкового моделирования – предсказывать следующий токен последовательности, включая токены, которые обозначают и результаты вызовов инструментов.

Важно подчеркнуть, что для внедрения каждого нового инструмента требовалось лишь **несколько ручных примеров** его использования — далее генерация обучающих данных шла автоматически<sup>[\[3\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-original-3)</sup>. Благодаря этому подход Toolformer практически не зависит от наличия специализированных размеченных корпусов и **минимизирует трудозатраты** на аннотирование данных. Модель сама выучивает формат и уместность API-вызовов и сохраняет при этом свою универсальность: она задействует инструменты только тогда, когда это действительно нужно для решения поставленной задачи<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>.

## Экспериментальные результаты

Для экспериментальной проверки метода исследователи взяли уже существующую языковую модель **GPT-J** (6,7 млрд параметров) — открытую LLM, обученную на корпусе The Pile<sup>[\[4\]](https://systems-analysis.info/wiki/Toolformer#cite_note-medium-oxenai-4)</sup>. Эту модель дообучили по описанной процедуре, получив Toolformer на базе GPT-J. Производительность нового подхода оценивалась в режиме **zero-shot** (без примеров) на ряде стандартных задач, включая математическое решение текстовых задач, поиск фактов и ответ на вопросы на знание (QA), а также перевод и заполнение пропусков в тексте. В качестве тестовых данных использовались, например, открытые наборы вопросов Natural Questions, TriviaQA (для оценки фактологических знаний) и наборы задач ASDiv, MAWPS, SVAMP (математические текстовые задачи на арифметику), а также мультиязычные QA-бенчмарки MLQA, LAMA<sup>[\[5\]](https://systems-analysis.info/wiki/Toolformer#cite_note-paperswithcode-5)</sup>.

Результаты показали, что Toolformer **значительно превосходит** исходную модель того же размера на многих задачах<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>. Более того, благодаря подключению инструментов относительно небольшая модель (6,7 млрд параметров) смогла по ряду показателей **обойти гораздо более крупную модель GPT-3** (175 млрд параметров)<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)[\[6\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-fewshot-6)</sup>. Например, в математических текстовых задачах с требованием точных вычислений Toolformer продемонстрировал особо заметный прогресс по сравнению с обычными LLM, решая такие задачи **точно за счёт калькулятора**, в то время как даже GPT-3 допускал ошибки<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>. В тестах по фактологическим вопросам (QA) Toolformer на базе GPT-J также показал качество ответа сопоставимое или лучшее, чем у GPT-3, поскольку мог выполнить интернет-поиск для актуальных сведений<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>. При этом важно, что новый подход **не ухудшил общие способности языковой модели**, такие как связное продолжение текста на обычных данных: Toolformer сохранил уровень генерации естественного языка без инструментов на уровне исходного GPT-J<sup>[\[3\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-original-3)</sup>. Иными словами, добавление функционала вызова API не «отняло» у модели её базовых навыков, но расширило их дополнительными возможностями.

## Значение работы и дальнейшие исследования

Разработка Toolformer продемонстрировала принципиальную возможность **обучить модель использовать внешние инструменты практически без ручной разметки**, за счёт генерации синтетических данных и самооценки полезности. Это достижение открывает путь к более **эффективным и надёжным** большим языковым моделям: вместо наращивания миллиардов параметров для запоминания фактов или математических правил, относительно компактная модель может **динамически привлекать внешние ресурсы** (БД знаний, калькуляторы, сервисы), чтобы восполнить собственные пробелы<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)</sup>. Такой подход позволяет уменьшить количество «галлюцинаций» (когда модель выдумывает несуществующую информацию), повысить точность ответов и актуальность знаний без тотальной переработки всей модели. По сути, Toolformer достигает **«лучшего из двух миров»** — комбинируя языковые навыки крупной модели с точностью узких инструментов<sup>[\[3\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-original-3)</sup>.

Работа Schick и коллег стала одной из первых, продемонстрировавших самостоятельное освоение LLM внешних API, и породила большой интерес в сообществе. Появились дальнейшие исследования, развивающие эту идею. Например, в 2023 году была предложена модель **Graph-ToolFormer**, адаптирующая принципы Toolformer для работы с графовыми данными. Опираясь на подсказки, сгенерированные [ChatGPT](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_OpenAI "Большие языковые модели OpenAI"), Graph-ToolFormer учит языковую модель вызывать внешние инструменты для решения задач графового анализа (например, получения свойств графа, работы с сетями знаний и т.д.)<sup>[\[7\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-graphtoolformer-7)</sup>. Другая примечательная разработка — модель **Gorilla** (Univ. of California, Berkeley, 2023), которая фокусируется на точном использовании множества сторонних программных API<sup>[\[8\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-gorilla-8)</sup>. Gorilla представляет собой LLaMA-модель, дообученную на обширном наборе документированных функций; она способна генерировать **корректные вызовы API по описанию задачи**, причём настолько успешно, что в экспериментах превзошла даже GPT-4 по точности формирования вызовов библиотек и сервисов<sup>[\[8\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-gorilla-8)</sup>. В Gorilla реализована интеграция с механизмом поиска по документации, что позволяет актуализировать информацию об изменениях API и существенно снижает ошибки и галлюцинации при использовании инструментов<sup>[\[8\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-gorilla-8)</sup>. Эти работы подтверждают значимость направления, открытое Toolformer: сочетание LLM с внешними инструментами рассматривается как перспективный путь к созданию более мощных и надежных AI-систем.

Отмечается, что идея интеграции инструментов в языковые модели развивается не только в исследованиях, но и в индустрии. Так, в марте 2023 года компания OpenAI представила систему **плагинов для ChatGPT** – специальный интерфейс, позволяющий подключать модель к внешним сервисам (веб-браузер, базы знаний, вычислительные движки и пр.) для получения актуальной информации и выполнения вычислений<sup>[\[9\]](https://systems-analysis.info/wiki/Toolformer#cite_note-openai-plugins-9)</sup>. Пользователи давно запрашивали подобный функционал, и появление плагинов фактически реализует на практике концепцию, схожую с Toolformer: модель дополняется «инструментами» для расширения своих возможностей при решении разнообразных пользовательских запросов<sup>[\[9\]](https://systems-analysis.info/wiki/Toolformer#cite_note-openai-plugins-9)</sup>. Таким образом, Toolformer вписывается в общий тренд развития ИИ, где большие языковые модели становятся **платформой**, способной по запросу задействовать внешние знания и вычисления. Исследование, выполненное командой Meta AI и UPF, заложило важный фундамент этого направления, показав, как LLM могут учиться работать с инструментами практически без ручного наставления, и тем самым приближаясь к более универсальному и безопасному интеллектуальному помощнику<sup>[\[1\]](https://systems-analysis.info/wiki/Toolformer#cite_note-synced-review-1)[\[3\]](https://systems-analysis.info/wiki/Toolformer#cite_note-arxiv-original-3)</sup>.

## См. также

- [AI-агент](https://systems-analysis.info/wiki/AI-%D0%B0%D0%B3%D0%B5%D0%BD%D1%82 "AI-агент")
- [Большие языковые модели OpenAI](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8_OpenAI "Большие языковые модели OpenAI")
- [Automatic Prompt Engineer (APE)](https://systems-analysis.info/wiki/Automatic_Prompt_Engineer_(APE) "Automatic Prompt Engineer (APE)")
- [Chain-of-Thought Prompting](https://systems-analysis.info/wiki/Chain-of-Thought_Prompting "Chain-of-Thought Prompting")
- [Chain-of-Verification](https://systems-analysis.info/wiki/Chain-of-Verification "Chain-of-Verification")

## Ссылки

- <a href="https://arxiv.org/abs/2302.04761" class="external text" rel="nofollow">Оригинальная статья «Toolformer: Language Models Can Teach Themselves to Use Tools» на arXiv</a>
- <a href="https://syncedreview.com/2023/02/16/meta-ai-upfs-toolformer-enabling-language-models-to-teach-themselves-to-use-external-tools/" class="external text" rel="nofollow">Обзор Toolformer на Synced Review</a>
- <a href="https://openreview.net/forum?id=Yacmpz84TH" class="external text" rel="nofollow">Страница Toolformer на OpenReview</a>
- <a href="https://medium.com/@oxenai/arxiv-dives-toolformer-language-models-can-teach-themselves-to-use-tools-b50c9312c2a9" class="external text" rel="nofollow">Обзор Toolformer на Medium</a>
- <a href="https://arxiv.org/abs/2305.15334" class="external text" rel="nofollow">Статья о модели Gorilla на arXiv</a>
- <a href="https://openai.com/index/chatgpt-plugins/" class="external text" rel="nofollow">Страница плагинов ChatGPT на сайте OpenAI</a>

## Литература

- Schick, T. et al. (2023). *Toolformer: Language Models Can Teach Themselves to Use Tools*. <a href="https://arxiv.org/abs/2302.04761" class="external text" rel="nofollow">arXiv:2302.04761</a>.
- Schick, T. et al. (2023). *Toolformer: Language Models Can Teach Themselves to Use Tools*. NeurIPS 2023. <a href="https://openreview.net/forum?id=Yacmpz84TH" class="external text" rel="nofollow">OpenReview</a>.
- Li, M. et al. (2023). *API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs*. <a href="https://arxiv.org/abs/2304.08244" class="external text" rel="nofollow">arXiv:2304.08244</a>.
- Zhang, T. et al. (2023). *Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT*. <a href="https://arxiv.org/abs/2304.11116" class="external text" rel="nofollow">arXiv:2304.11116</a>.
- Patil, S. G. et al. (2023). *Gorilla: Large Language Model Connected with Massive APIs*. <a href="https://arxiv.org/abs/2305.15334" class="external text" rel="nofollow">arXiv:2305.15334</a>.
- Qin, Y. et al. (2023). *ToolLLM: Facilitating Large Language Models to Master 16 000+ Real-World APIs*. <a href="https://arxiv.org/abs/2307.16789" class="external text" rel="nofollow">arXiv:2307.16789</a>.
- Li, Y. et al. (2024). *Tool Learning with Large Language Models: A Survey*. <a href="https://arxiv.org/pdf/2405.17935" class="external text" rel="nofollow">arXiv:2405.17935</a>.
- OpenAI (2023). *ChatGPT Plugins*. <a href="https://openai.com/index/chatgpt-plugins/" class="external text" rel="nofollow">OpenAI Blog</a>.
- Brown, T. B. et al. (2020). *Language Models Are Few-Shot Learners*. <a href="https://arxiv.org/abs/2005.14165" class="external text" rel="nofollow">arXiv:2005.14165</a>.
- Schick, T. et al. (2023). *Meta AI & UPF’s Toolformer: Enabling Language Models to Teach Themselves to Use External Tools*. <a href="https://syncedreview.com/2023/02/16/meta-ai-upfs-toolformer-enabling-language-models-to-teach-themselves-to-use-external-tools/" class="external text" rel="nofollow">Synced Review</a>.

## Примечания

1.  <span id="cite_note-synced-review-1">↑ <sup>[1,00](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-0)</sup> <sup>[1,01](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-1)</sup> <sup>[1,02](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-2)</sup> <sup>[1,03](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-3)</sup> <sup>[1,04](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-4)</sup> <sup>[1,05](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-5)</sup> <sup>[1,06](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-6)</sup> <sup>[1,07](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-7)</sup> <sup>[1,08](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-8)</sup> <sup>[1,09](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-9)</sup> <sup>[1,10](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-10)</sup> <sup>[1,11](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-11)</sup> <sup>[1,12](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-12)</sup> <sup>[1,13](https://systems-analysis.info/wiki/Toolformer#cite_ref-synced-review_1-13)</sup> Schick, T. et al. «Meta AI & UPF's Toolformer: Enabling Language Models to Teach Themselves to Use External Tools». *Synced*. <a href="https://syncedreview.com/2023/02/16/meta-ai-upfs-toolformer-enabling-language-models-to-teach-themselves-to-use-external-tools/" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-openreview-2">[↑](https://systems-analysis.info/wiki/Toolformer#cite_ref-openreview_2-0) Schick, T. et al. «Toolformer: Language Models Can Teach Themselves to Use Tools». *OpenReview*. <a href="https://openreview.net/forum?id=Yacmpz84TH" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-arxiv-original-3">↑ <sup>[3,0](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-original_3-0)</sup> <sup>[3,1](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-original_3-1)</sup> <sup>[3,2](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-original_3-2)</sup> <sup>[3,3](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-original_3-3)</sup> <sup>[3,4](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-original_3-4)</sup> <sup>[3,5](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-original_3-5)</sup> <sup>[3,6](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-original_3-6)</sup> Schick, T. et al. «Toolformer: Language Models Can Teach Themselves to Use Tools». *arXiv*. <a href="https://arxiv.org/abs/2302.04761" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-medium-oxenai-4">↑ <sup>[4,0](https://systems-analysis.info/wiki/Toolformer#cite_ref-medium-oxenai_4-0)</sup> <sup>[4,1](https://systems-analysis.info/wiki/Toolformer#cite_ref-medium-oxenai_4-1)</sup> <sup>[4,2](https://systems-analysis.info/wiki/Toolformer#cite_ref-medium-oxenai_4-2)</sup> <sup>[4,3](https://systems-analysis.info/wiki/Toolformer#cite_ref-medium-oxenai_4-3)</sup> <sup>[4,4](https://systems-analysis.info/wiki/Toolformer#cite_ref-medium-oxenai_4-4)</sup> <sup>[4,5](https://systems-analysis.info/wiki/Toolformer#cite_ref-medium-oxenai_4-5)</sup> <sup>[4,6](https://systems-analysis.info/wiki/Toolformer#cite_ref-medium-oxenai_4-6)</sup> <sup>[4,7](https://systems-analysis.info/wiki/Toolformer#cite_ref-medium-oxenai_4-7)</sup> <sup>[4,8](https://systems-analysis.info/wiki/Toolformer#cite_ref-medium-oxenai_4-8)</sup> OXEN AI. «Arxiv Dives Toolformer: Language models can teach themselves to use tools». *Medium*. <a href="https://medium.com/@oxenai/arxiv-dives-toolformer-language-models-can-teach-themselves-to-use-tools-b50c9312c2a9" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-paperswithcode-5">[↑](https://systems-analysis.info/wiki/Toolformer#cite_ref-paperswithcode_5-0) «Toolformer: Language Models Can Teach Themselves to Use Tools». *Papers With Code*. <a href="https://paperswithcode.com/paper/toolformer-language-models-can-teach" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-arxiv-fewshot-6">[↑](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-fewshot_6-0) Brown, Tom B. et al. «Language Models are Few-Shot Learners». *arXiv*. <a href="https://arxiv.org/abs/2005.14165" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-arxiv-graphtoolformer-7">[↑](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-graphtoolformer_7-0) Zhang, Tingkai et al. «Graph-ToolFormer: To Empower LLMs with Graph Reasoning Ability via Prompt Augmented by ChatGPT». *arXiv*. <a href="https://arxiv.org/abs/2304.11116" class="external autonumber" rel="nofollow">[7]</a></span>
8.  <span id="cite_note-arxiv-gorilla-8">↑ <sup>[8,0](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-gorilla_8-0)</sup> <sup>[8,1](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-gorilla_8-1)</sup> <sup>[8,2](https://systems-analysis.info/wiki/Toolformer#cite_ref-arxiv-gorilla_8-2)</sup> Patil, Shishir G. et al. «Gorilla: Large Language Model Connected with Massive APIs». *arXiv*. <a href="https://arxiv.org/abs/2305.15334" class="external autonumber" rel="nofollow">[8]</a></span>
9.  <span id="cite_note-openai-plugins-9">↑ <sup>[9,0](https://systems-analysis.info/wiki/Toolformer#cite_ref-openai-plugins_9-0)</sup> <sup>[9,1](https://systems-analysis.info/wiki/Toolformer#cite_ref-openai-plugins_9-1)</sup> «ChatGPT plugins». *OpenAI*. <a href="https://openai.com/index/chatgpt-plugins/" class="external autonumber" rel="nofollow">[9]</a></span>