Command

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску
Command
Семейство больших языковых моделей для корпоративных применений
Логотип Cohere
Общие сведения
РазработчикCohere
Анонс / выпускМарт 2024 года
АрхитектураDecoder-only Transformer; гибридное внимание (SWA + full, 3:1); Mixture-of-Experts в Command A+
МодальностьТекст; текст + изображения (серия A)
ЛицензияCC-BY-NC-4.0 (исследовательские веса серий R и A); Apache 2.0 (Command A+)
Модели и возможности
Версии / поколенияCommand R, Command R+, Command R7B, Command A, Command A Vision, Command A Reasoning, Command A Translate, Command A+
Линейка размеров7B, 35B, 104B, 111B, 112B, 218B (всего) / 25B (активных)
Контекстное окноДо 256K токенов (вход); до 64K (генерация в A+)
ЯзыкиДо 48 языков (Command A+)
Ссылки
Сайтhttps://cohere.com/
Репозиторий / HFCohereLabs на Hugging Face
ДокументацияModels overview
ПубликацияCommand A: An Enterprise-Ready Large Language Model

Command — семейство больших языковых моделей канадской компании Cohere, ориентированное на корпоративное применение: генерацию с дополнением из поиска (RAG) с цитированием, агентные сценарии (использование инструментов / tool use) и многоязычность[1]. Линейка началась с серии R в 2024 году и продолжена серией A (2025–2026), включившей специализированные варианты и объединяющую модель Command A+.

История и развитие

Ранние модели Command были ориентированы на следование инструкциям и чат. Серия R (2024) сместила акцент на производственные задачи RAG и tool use с длинным контекстом.

  • Command R (март 2024, ~35 млрд параметров) — модель для RAG и использования инструментов с контекстом 128K токенов и поддержкой около 10 ключевых языков. Веса для исследований выложены на Hugging Face под лицензией CC-BY-NC[2].
  • Command R+ (апрель 2024, 104 млрд параметров) — увеличенная версия, оптимизированная для сложных RAG-воркфлоу и многошагового tool use. В августе 2024 вышли обновлённые версии (command-r-08-2024 и command-r-plus-08-2024) с улучшенным следованием инструкциям, режимами безопасности и более высокой пропускной способностью.
  • Command R7B (декабрь 2024, 7 млрд параметров) — компактная модель серии R, разделяющая архитектурные решения с последующими моделями серии A. Описана в том же техническом отчёте, что и Command A[3].

Серия A (2025–2026) сделала упор на эффективность инференса и специализацию:

  • Command A (март 2025, идентификатор command-a-03-2025, 111 млрд параметров) — основная модель серии. Контекст 256K токенов, требует всего двух GPU (A100 или H100), поддерживает 23 языка и обеспечивает примерно на 150 % более высокую пропускную способность по сравнению с Command R+ 08-2024. Веса открыты для исследований под CC-BY-NC-4.0[4][5].
  • Command A Vision (июль 2025, command-a-vision-07-2025) — первая мультимодальная модель семейства (~112B параметров). Ориентирована на анализ графиков, диаграмм, таблиц, OCR и вопросов по документам. Официально поддерживает 6 языков.
  • Command A Reasoning (август 2025, command-a-reasoning-08-2025) — модель с режимом рассуждений («thinking») для сложных агентных и многошаговых задач. Контекст 256K, максимальная генерация 32K.
  • Command A Translate (август 2025, command-a-translate-08-2025) — специализированная модель машинного перевода на 23 языка.
  • Command A+ (20 мая 2026, command-a-plus-05-2026) — завершающая и объединяющая модель серии A, первая в семействе на архитектуре Mixture-of-Experts. 218 млрд общих / 25 млрд активных параметров, контекст 128K входных / до 64K выходных токенов, 48 языков, поддержка изображений, рассуждений и tool use. Выпущена под лицензией Apache 2.0[6][7].
Основные модели семейства Command
Модель Параметры Контекст (вход / макс. выход) Ключевые особенности Лицензия (веса)
Command R ~35B 128K / 4K RAG, tool use, ~10 языков CC-BY-NC
Command R+ 104B 128K / 4K Сложные RAG и multi-step tool use CC-BY-NC
Command R7B 7B 128K / 4K Компактная модель серии R CC-BY-NC
Command A 111B 256K / 8K Флагман серии A; 2 GPU; 23 языка CC-BY-NC-4.0
Command A Vision ~112B 128K / 8K Изображения, OCR, таблицы, диаграммы; 6 языков CC-BY-NC
Command A Reasoning 111B 256K / 32K Режим рассуждений, агентные задачи CC-BY-NC
Command A Translate 111B 8K / 8K Машинный перевод на 23 языка CC-BY-NC
Command A+ 218B всего / 25B активных 128K / 64K MoE; видение + рассуждение + перевод + tool use; 48 языков Apache 2.0

Архитектура и технические особенности

Модели семейства построены на архитектуре decoder-only Transformer.

Command A и R7B

Согласно техническому отчёту, архитектура использует гибридное внимание: слои скользящего окна (sliding window attention, окно 4096) и полного внимания в соотношении примерно 3:1. Слои SWA применяют Rotary Positional Embeddings (RoPE), слои полного внимания — No Positional Embeddings (NoPE). Используются Grouped-Query Attention, активация SwiGLU, отсутствие bias-членов и словарь размером около 255 000 токенов со специальными токенами для чата и tool calls. Это сокращает объём KV-кэша и позволяет эффективно работать с длинным контекстом на небольшом числе GPU[3].

Command A+

Command A+ — разреженная Mixture-of-Experts модель: 218 млрд общих параметров, 25 млрд активных на токен. Имеет 128 экспертов, из которых на каждый токен активируются 8 + один общий эксперт. Сохраняет гибридную схему внимания (SWA + full). Поддерживает входные изображения. Доступна в квантизациях BF16, FP8 и W4A4; в W4A4 работает на 1× B200 или 2× H100. По заявлениям Cohere, обеспечивает до 63 % более высокую пропускную способность (output tokens/s) и до 17 % меньшее время до первого токена по сравнению с Command A Reasoning при сопоставимых условиях[6][8].

Обучение

Для Command A использовался децентрализованный пайплайн: отдельное обучение экспертных моделей (на RAG, tool use, многоязычность, код, математику, длинный контекст, безопасность) с последующим слиянием (модель merging / model soup) и полировкой с помощью SFT, preference tuning (DPO и др.) и RLHF. Этот подход позволяет комбинировать сильные стороны разных экспертов без существенной потери качества[3].

Возможности и применение

Семейство специализируется на корпоративных сценариях:

  • RAG с цитированием — генерация ответов, привязанных к предоставленным документам, с указанием источников.
  • Tool use и агенты — многошаговое использование внешних инструментов (API, поиск, базы данных) в стиле ReAct; модели хорошо избегают ненужных вызовов.
  • Многоязычность — от ~10 языков в серии R до 23 в Command A (English, French, Spanish, Italian, German, Portuguese, Japanese, Korean, Chinese, Arabic, Russian, Polish, Turkish, Vietnamese, Dutch, Czech, Indonesian, Ukrainian, Romanian, Greek, Hindi, Hebrew, Persian) и 48 в Command A+ (включая все официальные языки ЕС).
  • Мультимодальность — входные изображения для анализа документов, графиков, таблиц и OCR (начиная с Command A Vision и в полном объёме в A+).
  • Рассуждения — явный режим thinking в Command A Reasoning и A+.

Модели поддерживают режимы безопасности (safety modes) и структурированные выходы. Большинство весов доступно для исследований на Hugging Face (CohereLabs); Command A+ — первая модель семейства под полностью открытой лицензией Apache 2.0, что облегчает суверенное (он-премис / приватное) развёртывание.

Ссылки

См. также

Примечания

  1. ↑ «Models overview», Cohere Docs
  2. ↑ CohereLabs/c4ai-command-r-v01, Hugging Face
  3. ↑ 3,0 3,1 3,2 Team Cohere. «Command A: An Enterprise-Ready Large Language Model». arXiv:2504.00698, апрель 2025. [1]
  4. ↑ «Command A», Cohere Docs
  5. ↑ CohereLabs/c4ai-command-a-03-2025, Hugging Face
  6. ↑ 6,0 6,1 «Introducing Command A+», Cohere Blog, 20 мая 2026
  7. ↑ «Command A+», Cohere Docs
  8. ↑ CohereLabs/command-a-plus-05-2026-w4a4, Hugging Face