---
title: "ROUGE"
source: "https://systems-analysis.info/wiki/ROUGE"
wiki: "systems-analysis.info/wiki"
article: "ROUGE"
language: "ru"
categories:
  - "Категория:Russian"
  - "Категория:Большие языковые модели"
  - "Категория:Машинное обучение"
  - "Категория:Оценка LLM"
revision_id: 179
wiki_created_at: 2026-09-06T22:04:54Z
wiki_modified_at: 2026-09-06T22:04:54Z
downloaded_at: 2026-09-07T22:18:03Z
---

# ROUGE

**ROUGE** (акроним от англ. *Recall-Oriented Understudy for Gisting Evaluation* — «Подменяющий оценщик для резюмирования, ориентированный на полноту») — это набор автоматических метрик для оценки качества сгенерированных системами текстовых резюме (конспектов). Оценка производится путём сравнения автоматически сгенерированного резюме с одним или несколькими эталонными (референсными) резюме, созданными людьми<sup>[\[1\]](https://systems-analysis.info/wiki/ROUGE#cite_note-wiki_rouge-1)</sup>.

Изначально метрика была разработана для задач автоматического реферирования текста, однако она также применяется и в оценке качества машинного перевода. В отличие от метрики [BLEU](https://systems-analysis.info/wiki/BLEU "BLEU"), которая оценивает точность (precision), ROUGE фокусируется на **полноте** (*recall*) — она показывает, какая часть значимых фрагментов из эталонного резюме была воспроизведена в сгенерированном тексте.

Набор метрик ROUGE был предложен в 2004 году исследователем **Чин-Ю Лином** (Chin-Yew Lin) из Института информационных наук Университета Южной Калифорнии<sup>[\[2\]](https://systems-analysis.info/wiki/ROUGE#cite_note-lin_2004-2)</sup>. Метрики ROUGE стали де-факто стандартом для оценки алгоритмов резюмирования, особенно после их использования на крупных соревнованиях, таких как DUC (*Document Understanding Conference*).

## Основные варианты метрик ROUGE

Семейство ROUGE включает несколько связанных метрик, каждая из которых измеряет пересечение контента по разным критериям<sup>[\[3\]](https://systems-analysis.info/wiki/ROUGE#cite_note-gm_rkb-3)</sup>:

- **ROUGE-N**: Измеряет пересечение по n-граммам (последовательностям из *n* слов).
  - **ROUGE-1** вычисляет пересечение униграмм (отдельных слов).
  - **ROUGE-2** вычисляет пересечение биграмм (пар последовательных слов).

<!-- -->

- **ROUGE-L**: Основана на **наиболее длинной общей подпоследовательности** (*Longest Common Subsequence*, LCS) между сгенерированным и эталонным резюме. Эта метрика учитывает совпадение на уровне структуры предложения, так как измеряет самую длинную последовательность слов, идущих в одном порядке, но не обязательно подряд.

<!-- -->

- **ROUGE-W**: Модификация ROUGE-L (*Weighted LCS*), которая присваивает больший вес тем общим подпоследовательностям, которые состоят из идущих подряд слов, поощряя непрерывное совпадение фраз.

<!-- -->

- **ROUGE-S** и **ROUGE-SU**: Метрики на основе совпадения **пропущенных биграмм** (*skip-bigrams*). Пропущенная биграмма — это любая пара слов, встречающаяся в обоих текстах в одном и том же порядке, но не обязательно подряд. Это позволяет учитывать совпадения с пропусками между словами.
  - **ROUGE-SU** является расширением ROUGE-S, которое также учитывает и совпадение униграмм, чтобы избежать нулевой оценки для резюме без совпадающих пар слов.

Каждая из метрик может рассчитываться в терминах полноты (*recall*), точности (*precision*) или их гармонического среднего (F-меры). Традиционно для задач реферирования акцент делается на **полноте** (ROUGE-N recall), так как важно, чтобы модель извлекла как можно больше ключевой информации из исходного текста.

## Применение и значимость

Метрики ROUGE стали стандартным инструментом для объективной оценки алгоритмов реферирования. Начиная с середины 2000-х, практически все конкурсы по автоматическому реферированию (например, DUC и TAC) использовали ROUGE для ранжирования систем. Популярность метрики объясняется её простотой и доказанной эффективностью: пересечение n-грамм оказалось достаточно надёжным показателем для отражения содержания резюме.

С появлением нейросетевых моделей и [LLM](https://systems-analysis.info/wiki/%D0%91%D0%BE%D0%BB%D1%8C%D1%88%D0%B8%D0%B5_%D1%8F%D0%B7%D1%8B%D0%BA%D0%BE%D0%B2%D1%8B%D0%B5_%D0%BC%D0%BE%D0%B4%D0%B5%D0%BB%D0%B8 "Большие языковые модели") роль ROUGE сохранилась, но интерпретация стала сложнее. Современные модели генерируют настолько качественные резюме, что традиционные метрики могут достигать «потолка» и плохо различать нюансы качества, что стимулировало разработку новых методов оценки<sup>[\[4\]](https://systems-analysis.info/wiki/ROUGE#cite_note-tacl_2021-4)</sup>.

## Ограничения и критика

Несмотря на популярность, ROUGE обладает известными ограничениями:

- **Поверхностный характер**: Метрика опирается только на лексическое совпадение и не способна оценить семантическую эквивалентность. Она может занизить оценку хорошего резюме, если в нём используются синонимы или перефразирования.
- **Игнорирование качества текста**: ROUGE не оценивает грамматическую правильность, связность или читабельность изложения. Модель может получить высокий балл, просто повторив важные фрагменты из эталона, даже если итоговый текст несвязный.
- **Зависимость от эталонного резюме**: Качество оценки напрямую зависит от качества и полноты референсного резюме. Если эталон написан плохо, оценка будет ненадёжной.
- **Отсутствие оценки фактов**: Метрика не способна проверить фактическую точность. Резюме может получить высокий ROUGE, но содержать неверные факты, если они были скопированы из источника, а не из эталона.

## Альтернативы и современные подходы

Ограничения ROUGE побудили к разработке альтернативных методов оценки:

- **Семантически ориентированные метрики**: Стараются измерять схожесть на уровне смысла, а не точного совпадения слов. Примеры включают **[BERTScore](https://systems-analysis.info/wiki/BERTScore "BERTScore")**, который сравнивает векторные представления (эмбеддинги) сгенерированного и эталонного текстов.
- **Комбинированные метрики**: Совмещают лексические и семантические критерии. Например, подход **ROUGE-SEM** дополняет классический ROUGE модулем семантического сходства на базе эмбеддингов, чтобы лучше оценивать перефразированные тексты<sup>[\[5\]](https://systems-analysis.info/wiki/ROUGE#cite_note-rouge_sem-5)</sup>.
- **Метрики на базе LLM**: Современные подходы, где мощные модели (например, [GPT](https://systems-analysis.info/wiki/GPT "GPT")) используются в роли «судьи» для оценки качества резюме по нескольким критериям, имитируя экспертную оценку человека.

В заключение, ROUGE зарекомендовала себя как простой и действенный инструмент для оценки автоматических суммаризаций. Несмотря на появление более сложных метрик, ROUGE, при всех его недостатках, остаётся неотъемлемым базовым инструментом в арсенале исследователей NLP.

## См. также

- [Метрики качества LLM](https://systems-analysis.info/wiki/%D0%9C%D0%B5%D1%82%D1%80%D0%B8%D0%BA%D0%B8_%D0%BA%D0%B0%D1%87%D0%B5%D1%81%D1%82%D0%B2%D0%B0_LLM "Метрики качества LLM")
- [Оценка LLM](https://systems-analysis.info/wiki/%D0%9E%D1%86%D0%B5%D0%BD%D0%BA%D0%B0_LLM "Оценка LLM")
- [BERTScore](https://systems-analysis.info/wiki/BERTScore "BERTScore")
- [LLM‑as‑a‑Judge](https://systems-analysis.info/wiki/LLM%E2%80%91as%E2%80%91a%E2%80%91Judge "LLM‑as‑a‑Judge")
- [BLEU](https://systems-analysis.info/wiki/BLEU "BLEU")

## Ссылки

- <a href="https://aclanthology.org/W04-1013.pdf" class="external text" rel="nofollow">Оригинальная статья Чин-Ю Лина о ROUGE (2004)</a>

## Примечания

1.  <span id="cite_note-wiki_rouge-1">[↑](https://systems-analysis.info/wiki/ROUGE#cite_ref-wiki_rouge_1-0) «ROUGE (metric)». *Wikipedia*. <a href="https://en.wikipedia.org/wiki/ROUGE_(metric)" class="external autonumber" rel="nofollow">[1]</a></span>
2.  <span id="cite_note-lin_2004-2">[↑](https://systems-analysis.info/wiki/ROUGE#cite_ref-lin_2004_2-0) Lin, Chin-Yew. «ROUGE: A Package for Automatic Evaluation of Summaries». *Proceedings of the ACL-04 Workshop on Text Summarization Branches Out*, 2004. <a href="https://aclanthology.org/W04-1013.pdf" class="external autonumber" rel="nofollow">[2]</a></span>
3.  <span id="cite_note-gm_rkb-3">[↑](https://systems-analysis.info/wiki/ROUGE#cite_ref-gm_rkb_3-0) «ROUGE (Recall-Oriented Understudy for Gisting Evaluation) Performance Metric». *GM-RKB*. <a href="http://www.gabormelli.com/RKB/ROUGE_(Recall-Oriented_Understudy_for_Gisting_Evaluation)_Performance_Metric" class="external autonumber" rel="nofollow">[3]</a></span>
4.  <span id="cite_note-tacl_2021-4">[↑](https://systems-analysis.info/wiki/ROUGE#cite_ref-tacl_2021_4-0) Deutsch, Daniel, and Rotem Dror. «A Statistical Analysis of Summarization Evaluation Metrics». *Transactions of the Association for Computational Linguistics*, vol. 9, 2021, pp. 495-508. <a href="https://aclanthology.org/anthology-files/anthology-files/pdf/tacl/2021.tacl-1.24.pdf" class="external autonumber" rel="nofollow">[4]</a></span>
5.  <span id="cite_note-rouge_sem-5">[↑](https://systems-analysis.info/wiki/ROUGE#cite_ref-rouge_sem_5-0) Zhang, M., et al. «ROUGE-SEM: Better evaluation of summarization using ROUGE combined with semantics». *Expert Systems with Applications*, vol. 237, 2024, p. 121364. <a href="https://github.com/zhangming-19/ROUGE-SEM" class="external autonumber" rel="nofollow">[5]</a></span>