---
title: "BLOOM"
source: "https://systems-analysis.info/wiki/BLOOM"
wiki: "systems-analysis.info/wiki"
article: "BLOOM"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Семейства LLM"
revision_id: 75
wiki_created_at: 2026-09-06T21:54:38Z
wiki_modified_at: 2026-09-06T21:54:38Z
downloaded_at: 2026-09-07T22:17:14Z
---

# BLOOM

**BLOOM** (**B**igScience **L**arge **O**pen-science **O**pen-access **M**ultilingual Language Model) — это крупная [языковая модель](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") (LLM) с открытым доступом, содержащая **176 миллиардов** параметров. Она была разработана в 2022 году в рамках проекта **BigScience** — международного сотрудничества более 1000 исследователей из 70 стран под эгидой компании Hugging Face<sup>[\[1\]](https://systems-analysis.info/wiki/BLOOM#cite_note-bloom_blog-1)</sup>.

BLOOM является авторегрессионной моделью-трансформером, способной генерировать связный текст на **46 естественных языках** и **13 языках программирования**. Модель была обучена на суперкомпьютере Jean Zay во Франции и стала одной из первых по-настоящему открытых альтернатив закрытым моделям, таким как GPT-3 от OpenAI<sup>[\[2\]](https://systems-analysis.info/wiki/BLOOM#cite_note-lescao2022-2)</sup>.

## Предыстория и разработка

Инициатива **BigScience** была запущена в мае 2021 года с целью демократизации исследований в области ИИ путем совместного создания большой открытой языковой модели<sup>[\[1\]](https://systems-analysis.info/wiki/BLOOM#cite_note-bloom_blog-1)</sup>. На тот момент передовые LLM, такие как GPT-3, разрабатывались закрыто в крупных компаниях, которые не раскрывали архитектуру, обучающие данные и исходный код. Проект BigScience объединил более тысячи добровольцев-исследователей со всего мира для создания конкурентоспособной и полностью открытой модели.

Проект получил грант на вычислительные ресурсы на французском суперкомпьютере **Jean Zay** (IDRIS/CNRS). Обучение модели проходило с 11 марта по 6 июля 2022 года<sup>[\[3\]](https://systems-analysis.info/wiki/BLOOM#cite_note-siliconangle_2022-3)</sup>. Разработка велась максимально прозрачно: команда публиковала информацию о подборе данных, настройках обучения и проводила общественные обсуждения, следуя принятой этической хартии проекта.

## Архитектура и обучение

### Архитектура модели

BLOOM построен на архитектуре трансформера авторегрессионного типа (*[decoder-only](https://systems-analysis.info/wiki/Decoder-only "Decoder-only")*), аналогичной модели GPT-3<sup>[\[2\]](https://systems-analysis.info/wiki/BLOOM#cite_note-lescao2022-2)</sup>.

| Параметр                      | Характеристика                                                                            |
|-------------------------------|-------------------------------------------------------------------------------------------|
| **Тип**                       | Декодер-только трансформер                                                                |
| **Параметры**                 | 176 247 271 424                                                                           |
| **Слои (layers)**             | 70                                                                                        |
| **Головы внимания**           | 112                                                                                       |
| **Размер скрытого состояния** | 14 336                                                                                    |
| **Длина последовательности**  | 2048 [токенов](https://systems-analysis.info/wiki/%D0%A2%D0%BE%D0%BA%D0%B5%D0%BD "Токен") |
| **Функция активации**         | GeLU; позиционные кодировки ALiBi                                                         |

Архитектурные характеристики BLOOM<sup>[\[4\]](https://systems-analysis.info/wiki/BLOOM#cite_note-huggingface_model_card-4)</sup>

Модель была реализована на базе фреймворков **Megatron-LM** и **DeepSpeed**, разработанных Nvidia и Microsoft соответственно, с рядом модификаций для эффективного распределенного обучения<sup>[\[5\]](https://systems-analysis.info/wiki/BLOOM#cite_note-tech_behind_bloom-5)</sup>.

### Обучающие данные

BLOOM была обучена на специально созданном корпусе текстовых данных **ROOTS** (The **R**esponsible **O**pen-science **O**pen-collaboration **T**ext **S**ources). Общий объем данных составил **1,6 терабайта** очищенного и дедуплицированного текста (≈366 млрд токенов)<sup>[\[6\]](https://systems-analysis.info/wiki/BLOOM#cite_note-roots_paper-6)</sup>.

Корпус включает тексты на **59 языках**:

- **46 естественных языков**, включая английский (30% токенов), китайский, французский, испанский, арабский, а также множество языков с малым количеством ресурсов (например, Chi Tumbuka — 0,00002% токенов).
- **13 языков программирования**, включая Python, Java, JavaScript и C++.

Такой мультиязычный и мультидоменный датасет был собран намеренно, чтобы сделать модель пригодной для широкого круга языковых сообществ.

## Производительность и применение

BLOOM демонстрирует конкурентоспособные результаты на разнообразных бенчмарках, сопоставимые с моделями аналогичного размера, такими как OPT-175B от Meta, несмотря на свою мультиязычность<sup>[\[2\]](https://systems-analysis.info/wiki/BLOOM#cite_note-lescao2022-2)</sup>.

Модель способна выполнять широкий круг задач в режиме *zero-shot* (без дополнительного обучения), включая:

- Генерацию текста в заданном стиле.
- Суммаризацию документов.
- Ответы на вопросы по контексту.
- Перевод между языками.
- Генерацию простого программного кода.

Для улучшения практической полезности команда BigScience позже провела дополнительное мультизадачное дообучение (*fine-tuning*) модели, создав версию **BLOOMZ**, которая более точно следует инструкциям пользователя.

## Лицензирование и открытый доступ

Полная 176-миллиардная модель BLOOM, её исходный код и данные были опубликованы в июле 2022 года. Модель распространяется под специально разработанной лицензией **RAIL (Responsible AI License) v1.0**<sup>[\[7\]](https://systems-analysis.info/wiki/BLOOM#cite_note-rail_license-7)</sup>.

Эта лицензия разрешает бесплатное использование и модификацию модели, но налагает ряд ограничений на её применение в определённых областях. В частности, запрещено использовать BLOOM в целях, противоречащих этическим нормам BigScience, таких как:

- Массовая слежка.
- Алгоритмическая дискриминация.
- Распространение дезинформации.
- Управление летальными вооружениями.

BLOOM стала первой крупной моделью ИИ, выпущенной под лицензией с явными оговорками об ответственном использовании<sup>[\[8\]](https://systems-analysis.info/wiki/BLOOM#cite_note-heikkila_2022-8)</sup>.

## См. также

- [Большие языковые модели](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели")
- [BERT](https://systems-analysis.info/wiki/BERT "BERT")
- [Chinchilla](https://systems-analysis.info/wiki/Chinchilla "Chinchilla")
- [Claude](https://systems-analysis.info/wiki/Claude "Claude")
- [Cohere](https://systems-analysis.info/wiki/Cohere "Cohere")

## Литература

- Hendrycks, D.; Gimpel, K. (2016). *Gaussian Error Linear Units (GELUs)*. <a href="https://arxiv.org/abs/1606.08415" class="external text" rel="nofollow">arXiv:1606.08415</a>.
- Shoeybi, M.; et al. (2019). *Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism*. <a href="https://arxiv.org/abs/1909.08053" class="external text" rel="nofollow">arXiv:1909.08053</a>.
- Rajbhandari, S.; et al. (2020). *ZeRO: Memory Optimizations Toward Training Trillion Parameter Models*. <a href="https://arxiv.org/abs/1910.02054" class="external text" rel="nofollow">arXiv:1910.02054</a>.
- Press, O.; et al. (2021). *Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation*. <a href="https://arxiv.org/abs/2108.12409" class="external text" rel="nofollow">arXiv:2108.12409</a>.
- Le Scao, T.; et al. (2022). *BLOOM: A 176B‑Parameter Open‑Access Multilingual Language Model*. <a href="https://arxiv.org/abs/2211.05100" class="external text" rel="nofollow">arXiv:2211.05100</a>.
- Muennighoff, N.; et al. (2022). *BLOOMZ & mT0: A Cross‑Lingual Baseline for Instruction Finetuning*. <a href="https://arxiv.org/abs/2211.01786" class="external text" rel="nofollow">arXiv:2211.01786</a>.
- BigScience Workshop (2022). *BigScience OpenRAIL‑M License v1.0*. <a href="https://bigscience.huggingface.co/blog/bigscience-openrail-m" class="external text" rel="nofollow">Online specification</a>.
- Akiki, C.; et al. (2022). *BigScience: A Case Study in the Social Construction of a Multilingual Large Language Model*. <a href="https://arxiv.org/abs/2212.04960" class="external text" rel="nofollow">arXiv:2212.04960</a>.
- Yong, Z.‑X.; et al. (2022). *BLOOM+1: Adding Language Support to BLOOM for Zero‑Shot Prompting*. <a href="https://arxiv.org/abs/2212.09535" class="external text" rel="nofollow">arXiv:2212.09535</a>.
- Biderman, S.; et al. (2023). *The BigScience ROOTS Corpus: A 1.6 TB Composite Multilingual Dataset*. <a href="https://arxiv.org/abs/2303.03915" class="external text" rel="nofollow">arXiv:2303.03915</a>.

## Примечания

1.  <span id="cite_note-bloom_blog-1">↑ <sup>[1,0](https://systems-analysis.info/wiki/BLOOM#cite_ref-bloom_blog_1-0)</sup> <sup>[1,1](https://systems-analysis.info/wiki/BLOOM#cite_ref-bloom_blog_1-1)</sup> «BLOOM». *BigScience Blog*. <a href="https://bigscience.huggingface.co/blog/bloom" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-lescao2022-2">↑ <sup>[2,0](https://systems-analysis.info/wiki/BLOOM#cite_ref-lescao2022_2-0)</sup> <sup>[2,1](https://systems-analysis.info/wiki/BLOOM#cite_ref-lescao2022_2-1)</sup> <sup>[2,2](https://systems-analysis.info/wiki/BLOOM#cite_ref-lescao2022_2-2)</sup> Le Scao, T., et al. (2022). «BLOOM: A 176B-Parameter Open-Access Multilingual Language Model». *arXiv:2211.05100*. <a href="https://arxiv.org/abs/2211.05100" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-siliconangle_2022-3">[↑](https://systems-analysis.info/wiki/BLOOM#cite_ref-siliconangle_2022_3-0) «Researchers open-source neural network with 176B parameters». *SiliconANGLE*. <a href="https://siliconangle.com/2022/07/12/researchers-open-source-neural-network-176b-parameters/" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-huggingface_model_card-4">[↑](https://systems-analysis.info/wiki/BLOOM#cite_ref-huggingface_model_card_4-0) «bigscience/bloom». *Hugging Face*. <a href="https://huggingface.co/bigscience/bloom" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-tech_behind_bloom-5">[↑](https://systems-analysis.info/wiki/BLOOM#cite_ref-tech_behind_bloom_5-0) «The Technology Behind BLOOM Training». *Hugging Face Blog*. <a href="https://huggingface.co/blog/bloom-megatron-deepspeed" class="external autonumber" rel="nofollow">[5]</a></span>
6.  <span id="cite_note-roots_paper-6">[↑](https://systems-analysis.info/wiki/BLOOM#cite_ref-roots_paper_6-0) Biderman, S. et al. (2023). «The BigScience ROOTS Corpus: A 1.6 TB Composite Multilingual Dataset». *arXiv:2303.03915*. <a href="https://arxiv.org/abs/2303.03915" class="external autonumber" rel="nofollow">[6]</a></span>
7.  <span id="cite_note-rail_license-7">[↑](https://systems-analysis.info/wiki/BLOOM#cite_ref-rail_license_7-0) «BigScience OpenRAIL-M». *BigScience Blog*. <a href="https://bigscience.huggingface.co/blog/bigscience-openrail-m" class="external autonumber" rel="nofollow">[7]</a></span>
8.  <span id="cite_note-heikkila_2022-8">[↑](https://systems-analysis.info/wiki/BLOOM#cite_ref-heikkila_2022_8-0) Heikkilä, M. «BLOOM is the first AI model to be under a...». *X*. <a href="https://mobile.twitter.com/Melissahei/status/1546870957402427393" class="external autonumber" rel="nofollow">[8]</a></span>