---
title: "Arquiteturas de LLM"
source: "https://systems-analysis.info/int/Arquiteturas_de_LLM"
wiki: "systems-analysis.info/int"
article: "Arquiteturas_de_LLM"
language: "pt"
categories:
  - "Category:Large language models"
  - "Category:Machine learning"
  - "Category:Portuguese"
revision_id: 446
wiki_created_at: 2026-09-06T22:33:53Z
wiki_modified_at: 2026-09-06T22:33:53Z
downloaded_at: 2026-09-07T22:40:10Z
---

# Arquiteturas de LLM

**Arquiteturas de modelos de linguagem grandes (LLM)** — são os princípios e estruturas fundamentais que definem como os modelos de linguagem grandes são construídos, treinados e funcionam. Os LLMs modernos, capazes de compreender e gerar linguagem humana, são quase inteiramente baseados na arquitetura **[Transformer](https://systems-analysis.info/int/Arquitetura_Transformer "Arquitetura Transformer")**<sup>[\[1\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Vaswani2017-1)</sup>, mas incluem inúmeras melhorias e abordagens distintas destinadas a aumentar a eficiência, a escalabilidade e as capacidades.

## Famílias de arquiteturas de LLM (transformers)

Os modelos de linguagem grandes modernos são baseados na [arquitetura transformer](https://systems-analysis.info/int/Arquitetura_Transformer "Arquitetura Transformer")<sup>[\[1\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Vaswani2017-1)</sup>, mas a utilizam de maneiras diferentes dependendo do objetivo: compreender texto, gerar uma continuação ou transformar um texto em outro. Na prática, distinguem-se três famílias, mantendo os princípios básicos do transformer<sup>[\[2\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-2)[\[3\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-3)[\[4\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-4)</sup>.

### 1. Encoder-only (apenas codificador, apenas encoder)

O modelo utiliza apenas a pilha de codificadores e processa todo o texto de entrada de forma bidirecional. O pré-treinamento geralmente é estruturado como *masked language modeling* (MLM, modelagem de linguagem com mascaramento): parte dos tokens é mascarada, e o modelo aprende a reconstruí-los a partir do seu contexto. Graças ao contexto bidirecional, esses modelos são fortes em tarefas de compreensão e pontuação: classificação, extração de entidades, reranking de documentos e QA extrativo. Eles não são projetados para geração autorregressiva "do zero".

Além disso, na prática, são aplicados objetivos de pré-treinamento alternativos para a família encoder-only: *replaced token detection (RTD)* no ELECTRA (um modelo discriminador reconhece tokens substituídos) e *treinamento contrastivo* de bi-encoders para busca/recuperação semântica (InfoNCE/softmax-loss em pares "consulta-documento", como no Dense Passage Retrieval). Ao serem usados em RAG, os modelos encoder-only atuam como *bi-encoder* (codificação separada da consulta e do documento para busca rápida com ANN) ou como *cross-encoder* (codificação conjunta do par para um reranking preciso).

**Vantagens:**

- Alta qualidade na compreensão de texto devido ao contexto bidirecional: classificação, NER, extração de fatos, reranking, QA extrativo.
- Processamento paralelo e alto throughput: uma única passagem direta sem autorregressão; conveniente para pontuação em massa em lotes (batch).
- Integração natural com busca e RAG: como bi-encoder — busca semântica rápida; como cross-encoder — reranking preciso.
- Adaptação eficiente: variantes relativamente compactas (≈100–300 milhões de parâmetros; BERT-base ≈110 milhões) alcançam alta qualidade após um ajuste fino (fine-tuning) direcionado.
- Latência estável, independente do comprimento da resposta gerada (sem decodificação passo a passo); bem adequados para pontuação offline de grandes coleções.
- Possibilidade de aumentar a janela de contexto em encoders por meio de posições relativas/rotacionais e/ou atenção esparsa local (ex., Longformer/BigBird), o que é útil para documentos longos.

**Desvantagens:**

- Sem capacidades generativas próprias: para diálogos e respostas detalhadas, é necessário um decoder ou um módulo generativo externo.
- Limitação em cenários interativos: sem geração passo a passo com preservação de estado.
- Incompatibilidade do objetivo de pré-treinamento com tarefas de geração livre: o MLM se alinha pior com a geração em comparação com a modelagem causal.
- Janela de contexto historicamente limitada (frequentemente 512 tokens em configurações básicas com posições absolutas); a expansão requer esquemas especiais de posicionamento/atenção e/ou ajuste fino.
- Para tarefas de recuperação, é necessário um ajuste fino contrastivo separado para o bi-encoder e/ou cross-encoder; sem isso, a qualidade da busca/reranking geralmente é inferior à de modelos treinados especificamente.

**Modelos representativos:** BERT e derivados, bem como RoBERTa e DeBERTa (variantes estendidas de encoder-only); de objetivos de pré-treinamento alternativos — ELECTRA (RTD). <sup>[\[5\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-5)[\[6\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-6)[\[7\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-7)[\[8\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-8)[\[9\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-9)[\[10\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-10)</sup>

### 2. Decoder-only (apenas decodificador, apenas decoder)

Utiliza apenas a pilha de decoders com atenção causal (unidirecional): o modelo prevê o próximo token com base no prefixo já fornecido. Esse modo de treinamento — *causal language modeling* (CLM) — torna esses modelos a escolha natural para geração: diálogos, respostas detalhadas, texto criativo, código de programação. A desvantagem é o aumento da latência e do volume do cache KV com prompts longos. Na prática, para modelos decoder-only, são amplamente utilizadas técnicas de engenharia: redução do cache KV por meio de MQA e GQA, aceleração da inferência com decodificação especulativa e otimizações de servidor (PagedAttention/vLLM, continuous batching, chunked prefill).<sup>[\[11\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-11)[\[12\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-12)[\[13\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-13)[\[14\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-14)[\[15\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-15)</sup>

**Vantagens:**

- Geração de texto natural (CLM): fortes capacidades de *zero-shot* e *few-shot*; escala bem.<sup>[\[16\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-16)</sup>
- Versatilidade de aplicação: um único modelo resolve múltiplas tarefas por meio de instruções e exemplos no prompt; combina-se naturalmente com RAG e chamada de ferramentas (tool use).
- Ecossistema maduro: práticas de ajuste fino de instrução e alinhamento de comportamento (RLHF, DPO); implementações de código aberto e comerciais disponíveis.<sup>[\[17\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-17)[\[18\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-18)</sup>
- Amplo conjunto de otimizações de inferência: MQA/GQA reduzem o volume do cache KV e aumentam o throughput; a decodificação especulativa acelera a inferência sem alterar a distribuição de saída; PagedAttention/vLLM com *continuous batching* e *chunked prefill* aumentam a utilização ponta a ponta da GPU.<sup>[\[19\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-19)[\[20\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-20)[\[21\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-21)[\[22\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-22)[\[23\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-23)</sup>
- Suporte à geração estruturada para formatos de resposta estritos (JSON/SQL/DSL), o que simplifica a integração com sistemas de informação e APIs.<sup>[\[24\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-24)[\[25\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-25)</sup>

**Desvantagens:**

- Latência de geração aumentada: saída sequencial; o custo de um novo token aumenta com o comprimento do contexto já "lido" (cache KV).
- Menos vantajoso em perfis de "entrada longa - saída curta" (sumarização, tradução) em comparação com encoder-decoder, onde a entrada é codificada uma única vez.
- Limitação pelo contexto unidirecional: em tarefas de compreensão, às vezes é inferior a modelos com representação bidirecional (encoder-only / encoder-decoder).
- A memória para o cache KV pode ser um gargalo em prompts longos e grandes lotes (batches); <sup>[\[26\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-26)</sup>
- A quantização de ativações/KV (INT8/FP8) acelera a inferência, mas pode degradar a qualidade em contextos longos/código; requer validação cuidadosa (especialmente com SLAs rígidos).

**Modelos representativos:** GPT-3, GPT-4 (detalhes da arquitetura e do conjunto de dados não divulgados publicamente), LLaMA e *Llama 3* (8B/70B, 2024).<sup>[\[27\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-27)[\[28\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-28)[\[29\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-29)[\[30\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-30)</sup>

### 3. Encoder-decoder (codificador-decodificador, encoder-decoder)

A arquitetura combina ambos os componentes. O encoder opera em modo bidirecional, e o decoder, em modo causal. O encoder analisa a entrada uma vez e cria sua representação; o decoder gera a saída, acessando essa representação por meio de *cross-attention*. Essa abordagem separada é especialmente útil onde é necessário transformar um texto de entrada longo em uma saída curta: tradução automática, sumarização, respostas baseadas em documentos. Embora o método exija um custo computacional total maior (duas pilhas e cross-attention), sua vantagem é a geração controlada com base na análise completa do texto original; além disso, a codificação é realizada uma única vez e reutilizada durante todo o processo de inferência.

**Vantagens:**

- Geração condicional: o decoder utiliza *cross-attention* para a representação da entrada. <sup>[\[31\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-31)</sup>
- Eficiente no cenário "entrada longa → saída curta": a entrada é codificada apenas uma vez.
- Conveniente para o formato "text-to-text" e saída controlada (prefixos de tarefa, instruções especiais). <sup>[\[32\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-32)</sup>
- Estabilidade e eficiência com fontes longas: na fase de decodificação, apenas a *self-attention* na saída cresce, enquanto a *cross-attention* reutiliza chaves/valores fixos do encoder (a entrada não é "relida" a cada passo).

**Desvantagens:**

- Duas pilhas aumentam os requisitos de memória e computação durante o treinamento e a aplicação.
- Em sequências muito longas, a latência final é comparável à de modelos decoder-only; a autorregressão continua sendo o gargalo.
- Menos modelos de chat universais do que entre os decoder-only; são mais frequentemente usados como um motor seq2seq de alta qualidade para tarefas específicas.
- Com entradas muito longas, a memória para as chaves/valores da *cross-attention* em cada camada do decoder aumenta (abrangendo toda a fonte), o que exige um planejamento cuidadoso do serviço (serving).

**Modelos representativos:** T5 (incluindo T5 v1.1 e a prática de ajuste fino de instrução no *FLAN-T5*) e BART. <sup>[\[33\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-33)[\[34\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-34)[\[35\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-35)</sup>

## Transformers densos (dense)

A arquitetura clássica e mais comum de LLM: no processamento de cada token, participa praticamente todo o conjunto de parâmetros do modelo. Diferentemente de abordagens esparsas (por exemplo, Mixture-of-Experts), não há ativação seletiva de sub-redes — cada bloco opera para cada token. <sup>[\[1\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Vaswani2017-1)</sup>

### Princípio de funcionamento e arquitetura

**Estrutura básica.** O modelo é uma pilha de N blocos transformer idênticos. Cada bloco inclui:

1.  **Autoatenção multi-cabeça (Multi-Head Self-Attention).** Para cada token, são calculados três vetores: Q (query), K (key), V (value); a atenção é definida como $\operatorname{softmax}\!\left( \frac{QK^{\top} + M}{\sqrt{d_{k}}} \right) \cdot V$, onde $M$ é uma máscara (causal e/ou de padding), que exclui posições inválidas. Várias "cabeças" de atenção consideram diferentes aspectos do contexto em paralelo (H cabeças, geralmente $d_{head} = \frac{d_{model}}{H}$); seu número aumenta com a escala do modelo. <sup>[\[1\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Vaswani2017-1)</sup>
2.  **Rede feed-forward (Feed-Forward Network, FFN).** Duas camadas lineares com uma não linearidade entre elas (geralmente GELU/SiLU; em vários modelos modernos, SwiGLU). A dimensão intermediária é geralmente $\approx 4\, d_{model}$; ao usar SwiGLU, frequentemente se usa $\approx \frac{8}{3}\, d_{model}$ para manter um número comparável de parâmetros. A FFN contém uma proporção significativa dos parâmetros. <sup>[\[1\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Vaswani2017-1)[\[36\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-36)</sup>

**Componentes adicionais.** São utilizadas conexões residuais (residual) e normalização de camada; em LLMs modernos, é mais comum o uso de Pre-LN (normalização antes dos sub-blocos) — isso melhora a estabilidade do treinamento em grandes profundidades. Além da LayerNorm clássica, a **RMSNorm** é cada vez mais utilizada (reduz os custos computacionais e funciona bem em modelos grandes); também, em algumas famílias, aplica-se a normalização no espaço de atenção (ex., normalização de Q/K antes do softmax). As representações posicionais podem ser absolutas ou relativas; para contextos longos, RoPE tornou-se o padrão de fato.

##### Exemplos de modelos e escala

- BERT-Large: 24 camadas, dimensão de 1024, 16 cabeças de atenção, ≈340 milhões de parâmetros. <sup>[\[37\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-37)</sup>
- GPT-3 (175B): 96 camadas, dimensão de 12288, 96 cabeças de atenção, ≈175 bilhões de parâmetros. <sup>[\[38\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-38)</sup>
- LLaMA-65B: 80 camadas, dimensão de 8192, 64 cabeças de atenção, ≈65 bilhões de parâmetros. <sup>[\[39\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-39)</sup>
- PaLM-540B: 118 camadas, dimensão em torno de 18432, ≈540 bilhões de parâmetros. <sup>[\[40\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-40)</sup>

##### Vantagens

- Blocos uniformes, regimes de treinamento bem estudados e comportamento previsível com o escalonamento.
- A qualidade melhora seguindo uma lei de potência com o aumento de parâmetros e dados; o regime *compute-optimal* pressupõe o aumento conjunto do tamanho do modelo e do volume de tokens de treinamento. <sup>[\[41\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-41)[\[42\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-42)</sup>
- A mesma arquitetura, após o ajuste fino, cobre uma ampla gama de tarefas sem alterações no nível das camadas.

##### Desvantagens

- A autoatenção completa tem complexidade quadrática em relação ao comprimento da sequência ($O(n^{2})$), o que limita a janela de contexto. <sup>[\[1\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Vaswani2017-1)</sup>
- Ativação completa dos parâmetros na etapa de geração: em um decoder sem MoE, o custo de inferência por token cresce aproximadamente proporcionalmente ao número de parâmetros.
- O gargalo é a largura de banda da memória (memory-bound): o carregamento de pesos da HBM frequentemente limita a velocidade da inferência.

##### Limitações de escalonamento e contexto

- A memória para os parâmetros cresce linearmente com o tamanho do modelo; a memória de treinamento aumenta devido aos gradientes e aos estados do otimizador.
- As configurações básicas historicamente se limitavam a 2-4 mil tokens. Esquemas posicionais modernos (RoPE) e técnicas de expansão (Position Interpolation, YaRN, etc.) permitem aumentar a janela em uma ordem de magnitude ou mais, mas ao custo de uma carga computacional/de memória adicional. <sup>[\[43\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-43)[\[44\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-44)</sup>

### Otimizações modernas

- **FlashAttention.** Atenção exata que considera a hierarquia da memória da GPU; reduz os custos de memória e acelera o treinamento/inferência em sequências longas. <sup>[\[45\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-45)</sup>
- **Redução e gerenciamento do cache KV.** Multi-Query Attention e Grouped-Query Attention reduzem o volume do cache e o tráfego de memória; no nível do servidor, a PagedAttention (vLLM) aumenta o throughput por meio do gerenciamento paginado do cache. <sup>[\[46\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-46)[\[47\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-47)[\[48\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-48)</sup>
- **Decodificação especulativa.** Um modelo de rascunho (draft) propõe uma continuação, e o modelo principal a verifica rapidamente; alcança-se uma aceleração sem alterar a distribuição de saída. <sup>[\[49\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-49)</sup>

## Modelos esparsos (Sparse Models) e Mixture-of-Experts (MoE)

MoE é uma maneira de aumentar a capacidade do modelo sem um crescimento proporcional nos cálculos por token. Em vez de um grande bloco FFN em uma camada, é usado um conjunto de "experts" paralelos (várias FFNs independentes), e um roteador treinável (gating network) seleciona para cada token os top-k experts mais relevantes (geralmente k=1–2; em alguns modelos, k=4). Apenas os experts selecionados são ativados; suas saídas são ponderadas e somadas. Assim, o número total de parâmetros pode ser de centenas de bilhões ou até trilhões, mas a cada passo, apenas uma pequena fração é utilizada. <sup>[\[50\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Switch-50)[\[51\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-GLAM-51)</sup>

#### Exemplos de modelos e escala

- **Switch Transformer (Google)**: até ~1.6T de parâmetros; roteamento top-1 (um expert por token). Demonstrou que o MoE permite aumentar drasticamente a capacidade com custos por token comparáveis. <sup>[\[50\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Switch-50)</sup>
- **GLaM (Google)**: 1.2T de parâmetros, 64 experts por camada, top-2; para cada token, são ativados ≈96.6B de parâmetros (≈8%). <sup>[\[51\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-GLAM-51)</sup>
- **Mixtral 8×7B (Mistral AI)**: ~46.7B de parâmetros no total, ≈12.9B ativos por token, top-2. <sup>[\[52\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Mixtral8x7-52)[\[53\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Mixtral8x7_paper-53)</sup>
- **Mixtral 8×22B**: ~141B de parâmetros no total, ≈39B ativos por token, top-2. <sup>[\[54\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Mixtral8x22-54)</sup>
- **DBRX (Databricks)**: 132B de parâmetros no total, ≈36B ativos por token; 16 experts e roteamento top-4 (fine-grained MoE). <sup>[\[55\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-DBRX-55)</sup>

##### Vantagens

- O custo computacional é determinado pelo número de experts ativos k, e não pelo número total de parâmetros: é possível treinar e usar modelos de escala de trilhões com custos comparáveis aos de modelos densos de tamanho consideravelmente menor. <sup>[\[51\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-GLAM-51)</sup>
- Especialização: os experts se "ajustam" automaticamente a idiomas/domínios/padrões, melhorando a qualidade em tarefas multidomínio.
- Implantação flexível: é possível manter em memória os experts usados com frequência e carregar os raros sob demanda (com a infraestrutura apropriada).

##### Limitações

- Balanceamento de carga: sem regularização, o roteador pode "grudar" em um subconjunto de experts (router collapse). São necessárias perdas auxiliares (load-balancing) e esquemas de roteamento aprimorados. <sup>[\[50\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Switch-50)</sup>
- Complexidade da computação distribuída: requer *expert parallelism* e comunicação *all-to-all*; os custos de comunicação e o gerenciamento de memória se tornam gargalos. <sup>[\[56\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-NVIDIA_MoE-56)</sup>
- Estabilidade do treinamento: as configurações do roteador e as limitações de capacidade são cruciais, caso contrário, pode haver degradação da qualidade/convergência.

#### Melhorias modernas

- **Expert-Choice routing**: os experts "escolhem" os tokens, o que melhora o balanceamento e a convergência com custos comparáveis. <sup>[\[57\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-ExpertChoice-57)</sup>
- **Fine-grained MoE**: um número maior de experts menores (como no DBRX) proporciona uma granularidade fina de especialização. <sup>[\[55\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-DBRX-55)</sup>
- **Sparse Upcycling**: converter um modelo denso em um MoE a partir de seu checkpoint permite aumentar significativamente a qualidade com custos moderados. <sup>[\[58\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-SparseUpcycling-58)</sup>

#### Relevância da aplicação de MoE

- Grandes assistentes multidomínio com um orçamento de computação limitado.
- Treinamento em corpus extensos, onde a especialização oferece vantagens.
- Cenários com infraestrutura distribuída avançada (muitas GPUs/TPUs e redes rápidas).

**Quando modelos densos são melhores**: infraestrutura limitada (1–2 GPUs), requisitos rígidos de latência previsível e simplicidade de implantação.

## Retrieval-Augmented Generation (RAG)

RAG é um **padrão de sistema** arquitetônico em torno de um LLM, e não uma arquitetura interna do próprio modelo. Ele combina um LLM (componente generativo) com uma base de conhecimento externa (componente de recuperação), o que permite compensar a limitação da "memória paramétrica" do modelo.

- **Princípio de funcionamento:** Antes da geração, o LLM recupera documentos relevantes de uma fonte externa (wiki, base de conhecimento corporativa, web) e se baseia neles para formular a resposta. <sup>[\[59\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-RAG-59)</sup>
- **Vantagens:**
  - Redução de alucinações e melhoria da precisão factual. <sup>[\[59\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-RAG-59)[\[60\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-60)</sup>
  - Relevância sem a necessidade de retreinamento completo do modelo. <sup>[\[59\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-RAG-59)</sup>
  - Citação e rastreabilidade das respostas.
- **Aplicação:** Padrão de fato para assistentes corporativos e sistemas onde são necessários fatos verificáveis e trabalho com dados privados/altamente especializados. <sup>[\[59\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-RAG-59)</sup>

## Mecanismos de atenção e trabalho com o contexto

A autoatenção básica tem complexidade quadrática em relação ao comprimento da sequência ($O(n^{2})$), por isso surgiram otimizações.

- **Atenção esparsa (Sparse Attention):** Limitação da atenção a janelas/padrões locais. Exemplos: **Longformer**<sup>[\[61\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-61)</sup>, **BigBird**<sup>[\[62\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-62)</sup>.
- **FlashAttention:** Reorganização da ordem dos cálculos levando em conta a hierarquia da memória da GPU; proporciona um ganho significativo em tempo e memória e se tornou o padrão de fato no treinamento de LLMs com contexto longo<sup>[\[63\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-63)[\[64\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-64)[\[65\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-65)</sup>.
- **MQA/GQA (aceleração da decodificação):** *Multi-Query Attention* (chaves/valores compartilhados para todas as cabeças) reduz o tráfego do cache KV<sup>[\[66\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-66)</sup>. *Grouped-Query Attention* equilibra qualidade/velocidade<sup>[\[67\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-67)</sup>.
- **Representações posicionais aprimoradas:**
  - **ALiBi (Attention with Linear Biases):** vieses lineares para as pontuações de atenção melhoram a generalização para comprimentos maiores. <sup>[\[68\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-68)</sup>
  - **RoPE (Rotary Position Embeddings):** Informação posicional relativa através da rotação de Q/K; amplamente utilizado em modelos modernos (por exemplo, LLaMA). <sup>[\[69\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-69)[\[70\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-70)</sup>
  - **Extensão de contexto para modelos RoPE:** *Position Interpolation* <sup>[\[71\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-71)</sup>, *YaRN* <sup>[\[72\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-72)</sup>, bem como modificações cientes de NTK, permitem aumentar eficientemente a janela de contexto sem alterar a arquitetura.

<!-- -->

- **Outras abordagens para sequências longas:**
  - **Transformer-XL:** memória recorrente entre segmentos para modelar dependências de longo alcance. <sup>[\[73\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-73)</sup>
  - **Reformer:** atenção LSH e blocos residuais reversíveis para economizar memória. <sup>[\[74\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-74)</sup>
  - **Performer:** aproximação linear da atenção softmax (FAVOR+). <sup>[\[75\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-75)</sup>
  - **Linformer:** aproximação de baixo posto da matriz de atenção. <sup>[\[76\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-76)</sup>

## Otimizações de modelos e infraestrutura de treinamento

Para o treinamento e implantação de LLMs, são utilizadas técnicas e frameworks especializados.

- **Quantização (Quantization):** A redução da precisão dos pesos diminui a memória e acelera a inferência. **QLoRA** permite o ajuste fino eficiente de modelos de 4 bits (incluindo 65B) com qualidade próxima à de precisão total<sup>[\[77\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-77)</sup>.
- **Destilação de conhecimento (Knowledge Distillation):** Treinamento *Professor→Aluno* para modelos compactos<sup>[\[78\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-78)</sup>; exemplo — **DistilBERT**<sup>[\[79\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-79)</sup>.
- **Treinamento distribuído:**
  - **DeepSpeed** e **ZeRO** — distribuição de parâmetros/gradientes/estados do otimizador para treinar modelos de trilhões de parâmetros<sup>[\[80\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-80)</sup>.
  - **Megatron-LM** — paralelismo de tensor e de pipeline para transformers muito grandes<sup>[\[81\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-81)</sup>.
- **Ecossistema e ferramentas:** **Hugging Face Transformers** e **Accelerate** fornecem implementações padrão de modelos e integração com DeepSpeed/FSDP para treinamento e inferência<sup>[\[82\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-82)[\[83\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-83)</sup>.

## Leis de escalonamento e treinamento compute-optimal

As **leis de escalonamento** empíricas mostram que o erro de entropia cruzada diminui seguindo uma lei de potência com o aumento de parâmetros, dados e computação. <sup>[\[84\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-84)</sup> O trabalho do **Chinchilla** refinou os regimes **compute-optimal**: para uma eficiência ótima, o tamanho do modelo e o número de tokens de treinamento devem ser escalados em conjunto (exemplo — um modelo de 70B treinado com ~1.4T de tokens supera modelos maiores, porém sub-treinados). <sup>[\[85\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-85)</sup>

## Modelos de Espaço de Estados (State Space Models, SSM)

**State Space Models (SSM)** — uma arquitetura alternativa aos transformers para trabalhar com sequências longas. Ela empresta ideias da teoria de controle e do processamento digital de sinais e resolve o principal problema da autoatenção: o crescimento quadrático da computação à medida que o comprimento do texto aumenta.

### O problema principal e a solução

**O problema dos transformers.** O principal problema dos transformers tradicionais é a complexidade quadrática da atenção: um texto 10 vezes mais longo requer aproximadamente 100 vezes mais computação.

**A abordagem SSM.** Em vez de "atenção simultânea a todas as palavras", o modelo percorre o texto sequencialmente e mantém um **estado de memória** interno compacto, que é atualizado a cada passo. Como resultado, o tempo e o consumo de memória crescem aproximadamente de forma linear com o comprimento do texto. Ao mesmo tempo, o treinamento pode ser realizado em paralelo — através de uma representação convolucional do kernel (alto throughput em sequências longas). <sup>[\[86\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-S4-86)</sup>

### Princípio de funcionamento

Um SSM discreto é descrito pelas equações de estado e de saída:

$x_{t} = Ax_{t - 1} + Bu_{t},\quad y_{t} = Cx_{t} + Du_{t}$

onde $x_{t}$ é o estado da memória, $u_{t}$ é a entrada (token), e $y_{t}$ é a saída. Em SSMs profundos, as matrizes $A,B,C,D$ são parametrizadas para garantir estabilidade e cálculos eficientes em sequências longas. A mesma camada pode ser considerada:

- recorrente (varredura passo a passo) — inferência econômica em termos de memória, sem cache KV;
- convolucional — treinamento paralelo com um kernel pré-calculado. <sup>[\[86\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-S4-86)</sup>

### Principais arquiteturas e híbridos

- **S4 (Structured State Spaces).** A linha de base dos SSMs com uma parametrização estável da matriz de estado; demonstra eficiência em sequências muito longas. <sup>[\[86\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-S4-86)</sup>
- **Mamba.** SSMs *seletivos*: as regras de atualização da memória dependem da entrada atual (o modelo decide o que "manter na memória" e o que "esquecer"). A implementação é otimizada para a hierarquia de memória da GPU; segundo os autores, alcança-se um aumento múltiplo no throughput de inferência com complexidade linear em relação ao comprimento. <sup>[\[87\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Mamba-87)</sup>
- **RetNet.** Mecanismo de *retention* com três modos: treinamento paralelo, inferência recorrente e bloco-recorrente. O objetivo é combinar treinamentos rápidos (como nos transformers) com uma inferência econômica (memória O(1) por token). <sup>[\[88\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-RetNet-88)</sup>
- **Híbridos Attention+SSM.** Exemplo — **Jamba** (alternância de camadas de Transformer e Mamba, mais MoE): relata suporte para contextos da ordem de ~256K tokens com requisitos de memória significativamente menores em comparação com modelos puramente transformer de classe semelhante. <sup>[\[89\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Jamba-89)</sup>

#### Vantagens

- Complexidade linear e economia de memória na inferência. Sem autoatenção global e cache KV; apenas um estado compacto é mantido. <sup>[\[87\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Mamba-87)[\[88\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-RetNet-88)</sup>
- Treinamento paralelo em sequências longas. O modo convolucional aumenta o throughput do treinamento. <sup>[\[86\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-S4-86)</sup>
- Eficiência de hardware. As implementações são otimizadas para a hierarquia de memória moderna (HBM/SRAM). <sup>[\[87\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Mamba-87)</sup>
- Contextos longos e streaming. Híbridos SSM+Attention são práticos para centenas de milhares de tokens com recursos moderados. <sup>[\[89\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Jamba-89)</sup>

#### Limitações e práticas atuais

- Maturidade do ecossistema. As ferramentas e "receitas" para escalonamento (instruções, RLHF/DPO) ainda estão atrás do stack dos transformers. <sup>[\[87\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Mamba-87)</sup>
- Qualidade e estabilidade. Em algumas tarefas, os híbridos (Attention+SSM) mostram um compromisso mais estável entre "qualidade/velocidade/memória" do que os SSMs "puros". <sup>[\[89\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Jamba-89)</sup>

#### Comparação de abordagens (generalizada)

| Característica                 | Transformers                     | SSM                      | Híbridos (Attention+SSM) |
|--------------------------------|----------------------------------|--------------------------|--------------------------|
| Complexidade com o comprimento | Quadrática (autoatenção)         | Linear (scan/convolução) | Próxima de linear        |
| Memória por token (inferência) | O cache KV cresce com o contexto | Estado O(1)              | Crescimento moderado     |
| Contextos longos               | Requer otimizações especiais     | Suporte nativo           | Prático até ~256K        |
| Maturidade do ecossistema      | Alta                             | Em desenvolvimento       | Em desenvolvimento       |

#### Aplicações práticas

- Análise de documentos muito longos (livros, relatórios, revisões científicas).
- Processamento de streaming e cenários de chat com histórico longo sem aumento do custo de memória.
- Ambientes com recursos limitados (dispositivos móveis/edge).
- Séries temporais e outros dados sequenciais.

**Modelos representativos:** S4, Mamba, RetNet; híbridos Attention+SSM (Jamba). <sup>[\[86\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-S4-86)[\[87\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Mamba-87)[\[88\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-RetNet-88)[\[89\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Jamba-89)</sup>

## Evolução das arquiteturas

- 2017 — Publicado o artigo "Attention Is All You Need". Apresentada a arquitetura do transformer: autoatenção multi-cabeça e codificações posicionais permitem treinar modelos sem recorrência ou convoluções; no entanto, a atenção tem complexidade quadrática em relação ao comprimento do contexto.<sup>[\[1\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-Vaswani2017-1)</sup>

<!-- -->

- 2018 — Apresentados o GPT-1 e o BERT. O GPT-1 usa uma pilha apenas de decoders com atenção causal para geração e posterior ajuste fino; o BERT introduz um encoder bidirecional e pré-treinamento com MLM para tarefas de compreensão de texto. <sup>[\[90\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-90)[\[91\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-91)</sup>

<!-- -->

- 2019 — Propostas maneiras de lidar com sequências longas e o decoder-only é escalado. O Transformer-XL adiciona "memória" e posições relativas para ir além de uma janela fixa; o GPT-2 mostra um aumento nas capacidades de *zero-shot* com o aumento da escala; o BART demonstra a eficácia do pré-treinamento de *denoising* para seq2seq. <sup>[\[92\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-92)[\[93\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-93)[\[94\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-94)</sup>

<!-- -->

- 2020 — Unificado o formato "text-to-text" e mostrados métodos para documentos longos. O T5 formula uma abordagem unificada encoder-decoder para diferentes tarefas; Longformer e BigBird usam atenção esparsa/estruturada para textos longos; o GPT-3 confirma a eficácia do escalonamento de um decoder-only denso. <sup>[\[95\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-95)[\[96\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-96)[\[97\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-97)[\[98\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-98)</sup>

<!-- -->

- 2021 — Aprimoradas as representações posicionais e demonstrada a esparsidade de parâmetros (MoE). RoPE e ALiBi melhoram a generalização em comprimentos maiores; Switch Transformer e GLaM ativam apenas uma parte dos experts por token, aumentando a capacidade sem um aumento proporcional no custo de inferência. <sup>[\[99\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-99)[\[100\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-100)[\[101\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-101)[\[102\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-102)</sup>

<!-- -->

- 2022 — Refinado o regime *compute-optimal* e acelerada a inferência em prompts longos. O Chinchilla mostra a vantagem de um maior número de tokens de treinamento com um tamanho de modelo moderado; o PaLM com Multi-Query Attention reduz o volume do cache KV; o FlashAttention acelera a atenção na GPU. <sup>[\[103\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-103)[\[104\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-104)[\[105\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-105)[\[106\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-106)</sup>

<!-- -->

- 2023 — Aumentadas as janelas de contexto sem alterar as camadas e melhorada a entrega no servidor. A linha LLaMA consolida práticas (RMSNorm, SwiGLU, RoPE); Position Interpolation e YaRN expandem o contexto; vLLM/PagedAttention gerencia o cache KV de forma mais eficiente. <sup>[\[107\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-107)[\[108\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-108)[\[109\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-109)[\[110\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-110)[\[111\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-111)[\[112\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-112)</sup>

<!-- -->

- 2023 — GPT-4 e Gemini demonstram processamento e geração em múltiplas modalidades dentro de uma única família de modelos. <sup>[\[113\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-113)[\[114\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-114)</sup>

<!-- -->

- 2023 — Propostos modelos com espaço de estados (SSM). Mamba e RetNet reintroduzem o processamento sequencial com um estado compacto em vez do cache KV e estabelecem as bases para arquiteturas híbridas. <sup>[\[115\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-115)[\[116\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-116)</sup>

<!-- -->

- 2024 — Publicados modelos MoE de código aberto e híbridos Attention+SSM; acelerada a atenção em novas GPUs. Mixtral 8×7B/8×22B e DBRX confirmam a praticidade do MoE; Jamba combina Transformer e Mamba para contextos muito longos; FlashAttention-3 aumenta o throughput. <sup>[\[117\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-117)[\[118\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-118)[\[119\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-119)[\[120\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-120)[\[121\]](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_note-121)</sup>

## Ligações externas

- <a href="https://jalammar.github.io/illustrated-transformer/" class="external free" rel="nofollow">https://jalammar.github.io/illustrated-transformer/</a> The Illustrated Transformer — uma explicação visual

## Literatura

- Vaswani, A. et al. (2017). *Attention Is All You Need*. NIPS. <a href="https://arxiv.org/abs/1706.03762" class="external free" rel="nofollow">https://arxiv.org/abs/1706.03762</a>
- Devlin, J. et al. (2019). *BERT*. NAACL. <a href="https://arxiv.org/abs/1810.04805" class="external free" rel="nofollow">https://arxiv.org/abs/1810.04805</a>
- Brown, T. et al. (2020). *Language Models are Few‑Shot Learners*. NeurIPS. <a href="https://arxiv.org/abs/2005.14165" class="external free" rel="nofollow">https://arxiv.org/abs/2005.14165</a>
- Raffel, C. et al. (2020). *Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5)*. JMLR. <a href="https://jmlr.org/papers/volume21/20-074/20-074.pdf" class="external free" rel="nofollow">https://jmlr.org/papers/volume21/20-074/20-074.pdf</a>
- Lewis, M. et al. (2019). *BART: Denoising Sequence‑to‑Sequence Pre‑training*. <a href="https://arxiv.org/abs/1910.13461" class="external free" rel="nofollow">https://arxiv.org/abs/1910.13461</a>
- Touvron, H. et al. (2023). *LLaMA*. <a href="https://arxiv.org/abs/2302.13971" class="external free" rel="nofollow">https://arxiv.org/abs/2302.13971</a>
- Chowdhery, A. et al. (2022). *PaLM: Scaling Language Modeling with Pathways*. <a href="https://arxiv.org/abs/2204.02311" class="external free" rel="nofollow">https://arxiv.org/abs/2204.02311</a>
- Dao, T. et al. (2022–2024). *FlashAttention (1/2/3)*. <a href="https://arxiv.org/abs/2205.14135" class="external free" rel="nofollow">https://arxiv.org/abs/2205.14135</a> ; <a href="https://arxiv.org/abs/2307.08691" class="external free" rel="nofollow">https://arxiv.org/abs/2307.08691</a> ; <a href="https://arxiv.org/abs/2407.08608" class="external free" rel="nofollow">https://arxiv.org/abs/2407.08608</a>
- Shazeer, N. (2019). *MQA*. <a href="https://arxiv.org/abs/1911.02150" class="external free" rel="nofollow">https://arxiv.org/abs/1911.02150</a>
- Ainslie, J. et al. (2023). *GQA*. <a href="https://arxiv.org/abs/2305.13245" class="external free" rel="nofollow">https://arxiv.org/abs/2305.13245</a>
- Kwon, W. et al. (2023). *PagedAttention / vLLM*. <a href="https://arxiv.org/abs/2309.06180" class="external free" rel="nofollow">https://arxiv.org/abs/2309.06180</a>
- Leviathan, Y. et al. (2023). *Speculative Decoding*. <a href="https://arxiv.org/abs/2211.17192" class="external free" rel="nofollow">https://arxiv.org/abs/2211.17192</a>
- Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). *Switch Transformers*. <a href="https://arxiv.org/abs/2101.03961" class="external free" rel="nofollow">https://arxiv.org/abs/2101.03961</a>
- Du, N. et al. (2022). *GLaM*. <a href="https://proceedings.mlr.press/v162/du22c/du22c.pdf" class="external free" rel="nofollow">https://proceedings.mlr.press/v162/du22c/du22c.pdf</a>
- Jiang, A.Q. et al. (2024). *Mixtral of Experts*. <a href="https://arxiv.org/abs/2401.04088" class="external free" rel="nofollow">https://arxiv.org/abs/2401.04088</a>
- Databricks (2024). *Introducing DBRX*. <a href="https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm" class="external free" rel="nofollow">https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm</a>
- NVIDIA (2024). *Applying Mixture of Experts in LLM Architectures*. <a href="https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/" class="external free" rel="nofollow">https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/</a>
- Zhou, Y. et al. (2022). *Expert Choice Routing*. <a href="https://arxiv.org/abs/2202.09368" class="external free" rel="nofollow">https://arxiv.org/abs/2202.09368</a>
- Komatsuzaki, A. et al. (2022). *Sparse Upcycling*. <a href="https://arxiv.org/abs/2212.05055" class="external free" rel="nofollow">https://arxiv.org/abs/2212.05055</a>
- Lewis, P. et al. (2020). *RAG*. <a href="https://arxiv.org/abs/2005.11401" class="external free" rel="nofollow">https://arxiv.org/abs/2005.11401</a>
- Beltagy, I. et al. (2020). *Longformer*. <a href="https://arxiv.org/abs/2004.05150" class="external free" rel="nofollow">https://arxiv.org/abs/2004.05150</a>
- Zaheer, M. et al. (2020). *BigBird*. <a href="https://arxiv.org/abs/2007.14062" class="external free" rel="nofollow">https://arxiv.org/abs/2007.14062</a>
- Press, O. et al. (2022). *ALiBi*. <a href="https://arxiv.org/abs/2108.12409" class="external free" rel="nofollow">https://arxiv.org/abs/2108.12409</a>
- Su, J. et al. (2021). *RoFormer (RoPE)*. <a href="https://arxiv.org/abs/2104.09864" class="external free" rel="nofollow">https://arxiv.org/abs/2104.09864</a>
- Chen, S. et al. (2023). *Position Interpolation*. <a href="https://arxiv.org/abs/2306.15595" class="external free" rel="nofollow">https://arxiv.org/abs/2306.15595</a>
- Peng, B. et al. (2023). *YaRN*. <a href="https://arxiv.org/abs/2309.00071" class="external free" rel="nofollow">https://arxiv.org/abs/2309.00071</a>
- Dettmers, T. et al. (2023). *QLoRA*. <a href="https://arxiv.org/abs/2305.14314" class="external free" rel="nofollow">https://arxiv.org/abs/2305.14314</a>
- Rajbhandari, S. et al. (2020). *ZeRO*. <a href="https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/" class="external free" rel="nofollow">https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/</a>
- Shoeybi, M. et al. (2019). *Megatron‑LM*. <a href="https://arxiv.org/abs/1909.08053" class="external free" rel="nofollow">https://arxiv.org/abs/1909.08053</a>
- Kaplan, J. et al. (2020). *Scaling Laws*. <a href="https://arxiv.org/abs/2001.08361" class="external free" rel="nofollow">https://arxiv.org/abs/2001.08361</a>
- Hoffmann, J. et al. (2022). *Chinchilla / Compute‑Optimal*. <a href="https://arxiv.org/abs/2203.15556" class="external free" rel="nofollow">https://arxiv.org/abs/2203.15556</a>
- Gemini Team (2023). *Gemini*. <a href="https://arxiv.org/abs/2312.11805" class="external free" rel="nofollow">https://arxiv.org/abs/2312.11805</a>
- Bai, Y. et al. (2022). *Constitutional AI*. <a href="https://arxiv.org/abs/2212.08073" class="external free" rel="nofollow">https://arxiv.org/abs/2212.08073</a>
- OpenAI (2023). *GPT‑4 Technical Report*. <a href="https://arxiv.org/abs/2303.08774" class="external free" rel="nofollow">https://arxiv.org/abs/2303.08774</a>
- OpenAI (2023). *DevDay: GPT‑4 Turbo 128k*. <a href="https://openai.com/index/new-models-and-developer-products-announced-at-devday/" class="external free" rel="nofollow">https://openai.com/index/new-models-and-developer-products-announced-at-devday/</a>
- Zhang, B.; Sennrich, R. (2019). *RMSNorm*. <a href="https://arxiv.org/abs/1910.07467" class="external free" rel="nofollow">https://arxiv.org/abs/1910.07467</a>
- Shazeer, N. (2020). *GLU Variants / SwiGLU*. <a href="https://arxiv.org/abs/2002.05202" class="external free" rel="nofollow">https://arxiv.org/abs/2002.05202</a>
- Gu, A.; Goel, K.; Ré, C. (2021). *S4: Structured State Spaces*. <a href="https://arxiv.org/abs/2111.00396" class="external free" rel="nofollow">https://arxiv.org/abs/2111.00396</a>
- Gu, A.; Dao, T. (2023/2024). *Mamba: Selective State Spaces*. <a href="https://arxiv.org/abs/2312.00752" class="external free" rel="nofollow">https://arxiv.org/abs/2312.00752</a>
- Sun, Y. et al. (2023). *RetNet*. <a href="https://arxiv.org/abs/2307.08621" class="external free" rel="nofollow">https://arxiv.org/abs/2307.08621</a>
- Lieber, O. et al. (2024). *Jamba: Hybrid Transformer‑Mamba*. <a href="https://arxiv.org/abs/2403.19887" class="external free" rel="nofollow">https://arxiv.org/abs/2403.19887</a>
- Dai, Z. et al. (2019). *Transformer‑XL*. <a href="https://arxiv.org/abs/1901.02860" class="external free" rel="nofollow">https://arxiv.org/abs/1901.02860</a>
- Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). *Reformer*. <a href="https://arxiv.org/abs/2001.04451" class="external free" rel="nofollow">https://arxiv.org/abs/2001.04451</a>
- Choromanski, K. et al. (2021). *Performer*. <a href="https://arxiv.org/abs/2009.14794" class="external free" rel="nofollow">https://arxiv.org/abs/2009.14794</a>
- Wang, S. et al. (2020). *Linformer*. <a href="https://arxiv.org/abs/2006.04768" class="external free" rel="nofollow">https://arxiv.org/abs/2006.04768</a>

## Notas

1.  <span id="cite_note-Vaswani2017-1">↑ <sup>[1.0](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Vaswani2017_1-0)</sup> <sup>[1.1](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Vaswani2017_1-1)</sup> <sup>[1.2](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Vaswani2017_1-2)</sup> <sup>[1.3](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Vaswani2017_1-3)</sup> <sup>[1.4](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Vaswani2017_1-4)</sup> <sup>[1.5](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Vaswani2017_1-5)</sup> <sup>[1.6](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Vaswani2017_1-6)</sup> Vaswani, A. et al. (2017). *Attention Is All You Need*. <a href="https://arxiv.org/abs/1706.03762" class="external free" rel="nofollow">https://arxiv.org/abs/1706.03762</a></span>
2.  <span id="cite_note-2">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-2) Devlin, J. et al. (2019). *BERT*. <a href="https://arxiv.org/abs/1810.04805" class="external free" rel="nofollow">https://arxiv.org/abs/1810.04805</a></span>
3.  <span id="cite_note-3">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-3) Brown, T. et al. (2020). *Language Models are Few‑Shot Learners*. <a href="https://arxiv.org/abs/2005.14165" class="external free" rel="nofollow">https://arxiv.org/abs/2005.14165</a></span>
4.  <span id="cite_note-4">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-4) Raffel, C. et al. (2020). *T5*. <a href="https://jmlr.org/papers/volume21/20-074/20-074.pdf" class="external free" rel="nofollow">https://jmlr.org/papers/volume21/20-074/20-074.pdf</a></span>
5.  <span id="cite_note-5">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-5) Devlin, J. et al. (2019). *BERT: Pre‑training of Deep Bidirectional Transformers for Language Understanding*. <a href="https://arxiv.org/abs/1810.04805" class="external free" rel="nofollow">https://arxiv.org/abs/1810.04805</a></span>
6.  <span id="cite_note-6">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-6) Liu, Y. et al. (2019). *RoBERTa: A Robustly Optimized BERT Pretraining Approach*. <a href="https://arxiv.org/abs/1907.11692" class="external free" rel="nofollow">https://arxiv.org/abs/1907.11692</a></span>
7.  <span id="cite_note-7">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-7) He, P. et al. (2021). *DeBERTa: Decoding‑enhanced BERT with Disentangled Attention*. <a href="https://arxiv.org/abs/2006.03654" class="external free" rel="nofollow">https://arxiv.org/abs/2006.03654</a></span>
8.  <span id="cite_note-8">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-8) Clark, K. et al. (2020). *ELECTRA: Pre‑training Text Encoders as Discriminators Rather Than Generators*. <a href="https://arxiv.org/abs/2003.10555" class="external free" rel="nofollow">https://arxiv.org/abs/2003.10555</a></span>
9.  <span id="cite_note-9">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-9) Zaheer, M. et al. (2020). *Big Bird: Transformers for Longer Sequences*. <a href="https://arxiv.org/abs/2007.14062" class="external free" rel="nofollow">https://arxiv.org/abs/2007.14062</a></span>
10. <span id="cite_note-10">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-10) Beltagy, I. et al. (2020). *Longformer: The Long‑Document Transformer*. <a href="https://arxiv.org/abs/2004.05150" class="external free" rel="nofollow">https://arxiv.org/abs/2004.05150</a></span>
11. <span id="cite_note-11">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-11) Shazeer, N. (2019). *Fast Transformer Decoding: One Write‑Head is All You Need* (Multi‑Query Attention). <a href="https://arxiv.org/abs/1911.02150" class="external free" rel="nofollow">https://arxiv.org/abs/1911.02150</a></span>
12. <span id="cite_note-12">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-12) Ainslie, J. et al. (2023). *GQA: Training Generalized Multi‑Query Transformer Models from Multi‑Head Checkpoints*. <a href="https://arxiv.org/abs/2305.13245" class="external free" rel="nofollow">https://arxiv.org/abs/2305.13245</a></span>
13. <span id="cite_note-13">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-13) Leviathan, Y. et al. (2023). *Fast Inference from Transformers via Speculative Decoding*. <a href="https://arxiv.org/abs/2211.17192" class="external free" rel="nofollow">https://arxiv.org/abs/2211.17192</a></span>
14. <span id="cite_note-14">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-14) Kwon, W. et al. (2023). *Efficient Memory Management for LLM Serving with PagedAttention (vLLM)*. <a href="https://arxiv.org/abs/2309.06180" class="external free" rel="nofollow">https://arxiv.org/abs/2309.06180</a></span>
15. <span id="cite_note-15">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-15) vLLM Docs (2024–2025). *Continuous batching, Chunked prefill, Structured outputs*. <a href="https://docs.vllm.ai/" class="external free" rel="nofollow">https://docs.vllm.ai/</a></span>
16. <span id="cite_note-16">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-16) Brown, T. et al. (2020). *Language Models are Few‑Shot Learners*. <a href="https://arxiv.org/abs/2005.14165" class="external free" rel="nofollow">https://arxiv.org/abs/2005.14165</a></span>
17. <span id="cite_note-17">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-17) Ouyang, L. et al. (2022). *InstructGPT (RLHF)*. <a href="https://arxiv.org/abs/2203.02155" class="external free" rel="nofollow">https://arxiv.org/abs/2203.02155</a></span>
18. <span id="cite_note-18">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-18) Rafailov, R. et al. (2023). *Direct Preference Optimization*. <a href="https://arxiv.org/abs/2305.18290" class="external free" rel="nofollow">https://arxiv.org/abs/2305.18290</a></span>
19. <span id="cite_note-19">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-19) Shazeer, 2019. <a href="https://arxiv.org/abs/1911.02150" class="external free" rel="nofollow">https://arxiv.org/abs/1911.02150</a></span>
20. <span id="cite_note-20">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-20) Ainslie, 2023. <a href="https://arxiv.org/abs/2305.13245" class="external free" rel="nofollow">https://arxiv.org/abs/2305.13245</a></span>
21. <span id="cite_note-21">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-21) Leviathan, 2023. <a href="https://arxiv.org/abs/2211.17192" class="external free" rel="nofollow">https://arxiv.org/abs/2211.17192</a></span>
22. <span id="cite_note-22">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-22) Kwon, 2023. <a href="https://arxiv.org/abs/2309.06180" class="external free" rel="nofollow">https://arxiv.org/abs/2309.06180</a></span>
23. <span id="cite_note-23">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-23) vLLM Docs. <a href="https://docs.vllm.ai/" class="external free" rel="nofollow">https://docs.vllm.ai/</a></span>
24. <span id="cite_note-24">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-24) OpenAI (2024). *Structured Outputs*. <a href="https://openai.com/index/introducing-structured-outputs-in-the-api/" class="external free" rel="nofollow">https://openai.com/index/introducing-structured-outputs-in-the-api/</a></span>
25. <span id="cite_note-25">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-25) vLLM Docs — Structured outputs. <a href="https://docs.vllm.ai/en/v0.9.2/features/structured_outputs.html" class="external free" rel="nofollow">https://docs.vllm.ai/en/v0.9.2/features/structured_outputs.html</a></span>
26. <span id="cite_note-26">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-26) Kwon, 2023. <a href="https://arxiv.org/abs/2309.06180" class="external free" rel="nofollow">https://arxiv.org/abs/2309.06180</a></span>
27. <span id="cite_note-27">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-27) Brown, T. et al. (2020). *Language Models are Few‑Shot Learners*. <a href="https://arxiv.org/abs/2005.14165" class="external free" rel="nofollow">https://arxiv.org/abs/2005.14165</a></span>
28. <span id="cite_note-28">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-28) Touvron, H. et al. (2023). *LLaMA: Open and Efficient Foundation Language Models*. <a href="https://arxiv.org/abs/2302.13971" class="external free" rel="nofollow">https://arxiv.org/abs/2302.13971</a></span>
29. <span id="cite_note-29">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-29) Achiam, J. et al. (2023). *GPT‑4 Technical Report*. <a href="https://arxiv.org/abs/2303.08774" class="external free" rel="nofollow">https://arxiv.org/abs/2303.08774</a></span>
30. <span id="cite_note-30">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-30) Meta AI (2024). *Introducing Meta Llama 3*. <a href="https://ai.meta.com/blog/meta-llama-3/" class="external free" rel="nofollow">https://ai.meta.com/blog/meta-llama-3/</a></span>
31. <span id="cite_note-31">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-31) Raffel, C. et al. (2020). *Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer (T5)*. JMLR. <a href="https://jmlr.org/papers/volume21/20-074/20-074.pdf" class="external free" rel="nofollow">https://jmlr.org/papers/volume21/20-074/20-074.pdf</a></span>
32. <span id="cite_note-32">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-32) Lewis, M. et al. (2019). *BART: Denoising Sequence‑to‑Sequence Pre‑training*. <a href="https://arxiv.org/abs/1910.13461" class="external free" rel="nofollow">https://arxiv.org/abs/1910.13461</a></span>
33. <span id="cite_note-33">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-33) Raffel, C. et al. (2020). *Exploring the Limits of Transfer Learning with a Unified Text‑to‑Text Transformer*. JMLR. <a href="https://jmlr.org/papers/volume21/20-074/20-074.pdf" class="external free" rel="nofollow">https://jmlr.org/papers/volume21/20-074/20-074.pdf</a></span>
34. <span id="cite_note-34">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-34) Lewis, M. et al. (2019). *BART: Denoising Sequence‑to‑Sequence Pre‑training for NLG, Translation, and Comprehension*. <a href="https://arxiv.org/abs/1910.13461" class="external free" rel="nofollow">https://arxiv.org/abs/1910.13461</a></span>
35. <span id="cite_note-35">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-35) Chung, H. W. et al. (2022). *Scaling Instruction‑Finetuned Language Models (FLAN‑T5)*. <a href="https://arxiv.org/abs/2210.11416" class="external free" rel="nofollow">https://arxiv.org/abs/2210.11416</a></span>
36. <span id="cite_note-36">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-36) Shazeer, N. (2020). GLU Variants Improve Transformer. <a href="https://arxiv.org/abs/2002.05202" class="external free" rel="nofollow">https://arxiv.org/abs/2002.05202</a></span>
37. <span id="cite_note-37">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-37) Devlin, J. et al. (2019). BERT: Pre‑training of Deep Bidirectional Transformers for Language Understanding. <a href="https://arxiv.org/abs/1810.04805" class="external free" rel="nofollow">https://arxiv.org/abs/1810.04805</a></span>
38. <span id="cite_note-38">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-38) Brown, T. et al. (2020). Language Models are Few‑Shot Learners. <a href="https://arxiv.org/abs/2005.14165" class="external free" rel="nofollow">https://arxiv.org/abs/2005.14165</a></span>
39. <span id="cite_note-39">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-39) Touvron, H. et al. (2023). LLaMA: Open and Efficient Foundation Language Models. <a href="https://arxiv.org/abs/2302.13971" class="external free" rel="nofollow">https://arxiv.org/abs/2302.13971</a></span>
40. <span id="cite_note-40">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-40) Chowdhery, A. et al. (2022). PaLM: Scaling Language Modeling with Pathways. <a href="https://arxiv.org/abs/2204.02311" class="external free" rel="nofollow">https://arxiv.org/abs/2204.02311</a></span>
41. <span id="cite_note-41">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-41) Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. <a href="https://arxiv.org/abs/2001.08361" class="external free" rel="nofollow">https://arxiv.org/abs/2001.08361</a></span>
42. <span id="cite_note-42">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-42) Hoffmann, J. et al. (2022). Training Compute‑Optimal Large Language Models. <a href="https://arxiv.org/abs/2203.15556" class="external free" rel="nofollow">https://arxiv.org/abs/2203.15556</a></span>
43. <span id="cite_note-43">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-43) Chen, S. et al. (2023). Extending Context Window via Positional Interpolation. <a href="https://arxiv.org/abs/2306.15595" class="external free" rel="nofollow">https://arxiv.org/abs/2306.15595</a></span>
44. <span id="cite_note-44">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-44) Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of LLMs. <a href="https://arxiv.org/abs/2309.00071" class="external free" rel="nofollow">https://arxiv.org/abs/2309.00071</a></span>
45. <span id="cite_note-45">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-45) Dao, T. et al. (2022–2024). FlashAttention (1/2/3). <a href="https://arxiv.org/abs/2205.14135" class="external free" rel="nofollow">https://arxiv.org/abs/2205.14135</a> ; <a href="https://arxiv.org/abs/2307.08691" class="external free" rel="nofollow">https://arxiv.org/abs/2307.08691</a> ; <a href="https://arxiv.org/abs/2407.08608" class="external free" rel="nofollow">https://arxiv.org/abs/2407.08608</a></span>
46. <span id="cite_note-46">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-46) Shazeer, N. (2019). Fast Transformer Decoding: One Write‑Head is All You Need. <a href="https://arxiv.org/abs/1911.02150" class="external free" rel="nofollow">https://arxiv.org/abs/1911.02150</a></span>
47. <span id="cite_note-47">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-47) Ainslie, J. et al. (2023). GQA. <a href="https://arxiv.org/abs/2305.13245" class="external free" rel="nofollow">https://arxiv.org/abs/2305.13245</a></span>
48. <span id="cite_note-48">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-48) Kwon, W. et al. (2023). Efficient Memory Management for LLM Serving with PagedAttention. <a href="https://arxiv.org/abs/2309.06180" class="external free" rel="nofollow">https://arxiv.org/abs/2309.06180</a></span>
49. <span id="cite_note-49">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-49) Leviathan, Y. et al. (2023). Fast Inference from Transformers via Speculative Decoding. <a href="https://arxiv.org/abs/2211.17192" class="external free" rel="nofollow">https://arxiv.org/abs/2211.17192</a></span>
50. <span id="cite_note-Switch-50">↑ <sup>[50.0](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Switch_50-0)</sup> <sup>[50.1](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Switch_50-1)</sup> <sup>[50.2](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Switch_50-2)</sup> Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). *Switch Transformers*. <a href="https://arxiv.org/abs/2101.03961" class="external free" rel="nofollow">https://arxiv.org/abs/2101.03961</a></span>
51. <span id="cite_note-GLAM-51">↑ <sup>[51.0](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-GLAM_51-0)</sup> <sup>[51.1](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-GLAM_51-1)</sup> <sup>[51.2](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-GLAM_51-2)</sup> Du, N. et al. (2021). *GLaM: Efficient Scaling of Language Models with Mixture‑of‑Experts*. <a href="https://arxiv.org/pdf/2112.06905.pdf" class="external free" rel="nofollow">https://arxiv.org/pdf/2112.06905.pdf</a></span>
52. <span id="cite_note-Mixtral8x7-52">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Mixtral8x7_52-0) Mistral AI (2023). *Mixtral of Experts*. <a href="https://mistral.ai/news/mixtral-of-experts/" class="external free" rel="nofollow">https://mistral.ai/news/mixtral-of-experts/</a></span>
53. <span id="cite_note-Mixtral8x7_paper-53">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Mixtral8x7_paper_53-0) Jiang, A.Q. et al. (2024). *Mixtral of Experts*. <a href="https://arxiv.org/abs/2401.04088" class="external free" rel="nofollow">https://arxiv.org/abs/2401.04088</a></span>
54. <span id="cite_note-Mixtral8x22-54">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Mixtral8x22_54-0) Mistral AI (2024). *Mixtral 8x22B*. <a href="https://mistral.ai/news/mixtral-8x22b" class="external free" rel="nofollow">https://mistral.ai/news/mixtral-8x22b</a></span>
55. <span id="cite_note-DBRX-55">↑ <sup>[55.0](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-DBRX_55-0)</sup> <sup>[55.1](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-DBRX_55-1)</sup> Databricks (2024). *Introducing DBRX*. <a href="https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm" class="external free" rel="nofollow">https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm</a></span>
56. <span id="cite_note-NVIDIA_MoE-56">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-NVIDIA_MoE_56-0) NVIDIA (2024). *Applying Mixture of Experts in LLM Architectures*. <a href="https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/" class="external free" rel="nofollow">https://developer.nvidia.com/blog/applying-mixture-of-experts-in-llm-architectures/</a></span>
57. <span id="cite_note-ExpertChoice-57">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-ExpertChoice_57-0) Zhou, Y. et al. (2022). *Mixture‑of‑Experts with Expert Choice Routing*. <a href="https://arxiv.org/abs/2202.09368" class="external free" rel="nofollow">https://arxiv.org/abs/2202.09368</a></span>
58. <span id="cite_note-SparseUpcycling-58">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-SparseUpcycling_58-0) Komatsuzaki, A. et al. (2022). *Sparse Upcycling: Training Mixture‑of‑Experts from Dense Checkpoints*. <a href="https://arxiv.org/abs/2212.05055" class="external free" rel="nofollow">https://arxiv.org/abs/2212.05055</a></span>
59. <span id="cite_note-RAG-59">↑ <sup>[59.0](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-RAG_59-0)</sup> <sup>[59.1](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-RAG_59-1)</sup> <sup>[59.2](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-RAG_59-2)</sup> <sup>[59.3](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-RAG_59-3)</sup> Lewis, P. et al. (2020). *Retrieval‑Augmented Generation for Knowledge‑Intensive NLP Tasks*. <a href="https://arxiv.org/abs/2005.11401" class="external free" rel="nofollow">https://arxiv.org/abs/2005.11401</a></span>
60. <span id="cite_note-60">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-60) NVIDIA Blog (2025). *What is Retrieval‑Augmented Generation (RAG)*. <a href="https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/" class="external free" rel="nofollow">https://blogs.nvidia.com/blog/what-is-retrieval-augmented-generation/</a></span>
61. <span id="cite_note-61">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-61) Beltagy, I. et al. (2020). *Longformer*. <a href="https://arxiv.org/abs/2004.05150" class="external free" rel="nofollow">https://arxiv.org/abs/2004.05150</a></span>
62. <span id="cite_note-62">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-62) Zaheer, M. et al. (2020). *Big Bird*. <a href="https://arxiv.org/abs/2007.14062" class="external free" rel="nofollow">https://arxiv.org/abs/2007.14062</a></span>
63. <span id="cite_note-63">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-63) Dao, T. et al. (2022). *FlashAttention*. <a href="https://arxiv.org/abs/2205.14135" class="external free" rel="nofollow">https://arxiv.org/abs/2205.14135</a></span>
64. <span id="cite_note-64">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-64) Dao, T. et al. (2023). *FlashAttention‑2*. <a href="https://arxiv.org/abs/2307.08691" class="external free" rel="nofollow">https://arxiv.org/abs/2307.08691</a></span>
65. <span id="cite_note-65">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-65) Shah, M. et al. (2024). *FlashAttention‑3*. <a href="https://arxiv.org/abs/2407.08608" class="external free" rel="nofollow">https://arxiv.org/abs/2407.08608</a></span>
66. <span id="cite_note-66">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-66) Shazeer, N. (2019). *Fast Transformer Decoding: One Write‑Head is All You Need*. <a href="https://arxiv.org/abs/1911.02150" class="external free" rel="nofollow">https://arxiv.org/abs/1911.02150</a></span>
67. <span id="cite_note-67">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-67) Ainslie, J. et al. (2023). *GQA*. <a href="https://arxiv.org/abs/2305.13245" class="external free" rel="nofollow">https://arxiv.org/abs/2305.13245</a></span>
68. <span id="cite_note-68">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-68) Press, O. et al. (2022). ALiBi. <a href="https://arxiv.org/abs/2108.12409" class="external free" rel="nofollow">https://arxiv.org/abs/2108.12409</a></span>
69. <span id="cite_note-69">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-69) Su, J. et al. (2021). RoFormer: Rotary Position Embedding. <a href="https://arxiv.org/abs/2104.09864" class="external free" rel="nofollow">https://arxiv.org/abs/2104.09864</a></span>
70. <span id="cite_note-70">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-70) Touvron, H. et al. (2023). LLaMA: Open and Efficient Foundation Language Models. <a href="https://arxiv.org/abs/2302.13971" class="external free" rel="nofollow">https://arxiv.org/abs/2302.13971</a></span>
71. <span id="cite_note-71">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-71) Chen, S. et al. (2023). Extending Context Window via Positional Interpolation. <a href="https://arxiv.org/abs/2306.15595" class="external free" rel="nofollow">https://arxiv.org/abs/2306.15595</a></span>
72. <span id="cite_note-72">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-72) Peng, B. et al. (2023). YaRN: Efficient Context Window Extension of LLMs. <a href="https://arxiv.org/abs/2309.00071" class="external free" rel="nofollow">https://arxiv.org/abs/2309.00071</a></span>
73. <span id="cite_note-73">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-73) Dai, Z. et al. (2019). *Transformer‑XL: Attentive Language Models Beyond a Fixed‑Length Context*. <a href="https://arxiv.org/abs/1901.02860" class="external free" rel="nofollow">https://arxiv.org/abs/1901.02860</a></span>
74. <span id="cite_note-74">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-74) Kitaev, N.; Kaiser, L.; Levskaya, A. (2020). *Reformer: The Efficient Transformer*. <a href="https://arxiv.org/abs/2001.04451" class="external free" rel="nofollow">https://arxiv.org/abs/2001.04451</a></span>
75. <span id="cite_note-75">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-75) Choromanski, K. et al. (2021). *Rethinking Attention with Performers*. <a href="https://arxiv.org/abs/2009.14794" class="external free" rel="nofollow">https://arxiv.org/abs/2009.14794</a></span>
76. <span id="cite_note-76">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-76) Wang, S. et al. (2020). *Linformer: Self‑Attention with Linear Complexity*. <a href="https://arxiv.org/abs/2006.04768" class="external free" rel="nofollow">https://arxiv.org/abs/2006.04768</a></span>
77. <span id="cite_note-77">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-77) Dettmers, T. et al. (2023). *QLoRA: Efficient Finetuning of Quantized LLMs*. <a href="https://arxiv.org/abs/2305.14314" class="external free" rel="nofollow">https://arxiv.org/abs/2305.14314</a></span>
78. <span id="cite_note-78">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-78) Hinton, G. et al. (2015). *Distilling the Knowledge in a Neural Network*. <a href="https://arxiv.org/abs/1503.02531" class="external free" rel="nofollow">https://arxiv.org/abs/1503.02531</a></span>
79. <span id="cite_note-79">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-79) Sanh, V. et al. (2019). *DistilBERT*. <a href="https://arxiv.org/abs/1910.01108" class="external free" rel="nofollow">https://arxiv.org/abs/1910.01108</a></span>
80. <span id="cite_note-80">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-80) Rajbhandari, S. et al. (2020). *ZeRO: Memory Optimizations Toward Training Trillion‑Parameter Models*. <a href="https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/" class="external free" rel="nofollow">https://www.microsoft.com/en-us/research/publication/zero-memory-optimizations-toward-training-trillion-parameter-models/</a></span>
81. <span id="cite_note-81">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-81) Shoeybi, M. et al. (2019). *Megatron‑LM: Training Multi‑Billion Parameter Language Models Using Model Parallelism*. <a href="https://arxiv.org/abs/1909.08053" class="external free" rel="nofollow">https://arxiv.org/abs/1909.08053</a></span>
82. <span id="cite_note-82">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-82) Hugging Face. *Transformers Documentation*. <a href="https://huggingface.co/docs/transformers" class="external free" rel="nofollow">https://huggingface.co/docs/transformers</a></span>
83. <span id="cite_note-83">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-83) Hugging Face. *Accelerate Documentation*. <a href="https://huggingface.co/docs/accelerate" class="external free" rel="nofollow">https://huggingface.co/docs/accelerate</a></span>
84. <span id="cite_note-84">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-84) Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. <a href="https://arxiv.org/abs/2001.08361" class="external free" rel="nofollow">https://arxiv.org/abs/2001.08361</a></span>
85. <span id="cite_note-85">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-85) Hoffmann, J. et al. (2022). Training Compute‑Optimal Large Language Models. <a href="https://arxiv.org/abs/2203.15556" class="external free" rel="nofollow">https://arxiv.org/abs/2203.15556</a></span>
86. <span id="cite_note-S4-86">↑ <sup>[86.0](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-S4_86-0)</sup> <sup>[86.1](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-S4_86-1)</sup> <sup>[86.2](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-S4_86-2)</sup> <sup>[86.3](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-S4_86-3)</sup> <sup>[86.4](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-S4_86-4)</sup> Gu, A.; Goel, K.; Ré, C. (2021). *Efficiently Modeling Long Sequences with Structured State Spaces (S4)*. <a href="https://arxiv.org/abs/2111.00396" class="external free" rel="nofollow">https://arxiv.org/abs/2111.00396</a></span>
87. <span id="cite_note-Mamba-87">↑ <sup>[87.0](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Mamba_87-0)</sup> <sup>[87.1](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Mamba_87-1)</sup> <sup>[87.2](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Mamba_87-2)</sup> <sup>[87.3](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Mamba_87-3)</sup> <sup>[87.4](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Mamba_87-4)</sup> Gu, A.; Dao, T. (2023/2024). *Mamba: Linear‑Time Sequence Modeling with Selective State Spaces*. <a href="https://arxiv.org/abs/2312.00752" class="external free" rel="nofollow">https://arxiv.org/abs/2312.00752</a></span>
88. <span id="cite_note-RetNet-88">↑ <sup>[88.0](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-RetNet_88-0)</sup> <sup>[88.1](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-RetNet_88-1)</sup> <sup>[88.2](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-RetNet_88-2)</sup> Sun, Y. et al. (2023). *Retentive Network: A Successor to Transformer for Large Language Models*. <a href="https://arxiv.org/abs/2307.08621" class="external free" rel="nofollow">https://arxiv.org/abs/2307.08621</a></span>
89. <span id="cite_note-Jamba-89">↑ <sup>[89.0](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Jamba_89-0)</sup> <sup>[89.1](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Jamba_89-1)</sup> <sup>[89.2](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Jamba_89-2)</sup> <sup>[89.3](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-Jamba_89-3)</sup> Lieber, O. et al. (2024). *Jamba: A Hybrid Transformer‑Mamba Language Model*. <a href="https://arxiv.org/abs/2403.19887" class="external free" rel="nofollow">https://arxiv.org/abs/2403.19887</a></span>
90. <span id="cite_note-90">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-90) Radford, A. et al. (2018). Improving Language Understanding by Generative Pre‑Training. <a href="https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf" class="external free" rel="nofollow">https://cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf</a></span>
91. <span id="cite_note-91">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-91) Devlin, J. et al. (2019). BERT: Pre‑training of Deep Bidirectional Transformers for Language Understanding. <a href="https://arxiv.org/abs/1810.04805" class="external free" rel="nofollow">https://arxiv.org/abs/1810.04805</a></span>
92. <span id="cite_note-92">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-92) Dai, Z. et al. (2019). Transformer‑XL. <a href="https://arxiv.org/abs/1901.02860" class="external free" rel="nofollow">https://arxiv.org/abs/1901.02860</a></span>
93. <span id="cite_note-93">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-93) Radford, A. et al. (2019). Language Models are Unsupervised Multitask Learners. <a href="https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf" class="external free" rel="nofollow">https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf</a></span>
94. <span id="cite_note-94">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-94) Lewis, M. et al. (2019). BART. <a href="https://arxiv.org/abs/1910.13461" class="external free" rel="nofollow">https://arxiv.org/abs/1910.13461</a></span>
95. <span id="cite_note-95">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-95) Raffel, C. et al. (2020). T5. <a href="https://jmlr.org/papers/volume21/20-074/20-074.pdf" class="external free" rel="nofollow">https://jmlr.org/papers/volume21/20-074/20-074.pdf</a></span>
96. <span id="cite_note-96">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-96) Beltagy, I. et al. (2020). Longformer. <a href="https://arxiv.org/abs/2004.05150" class="external free" rel="nofollow">https://arxiv.org/abs/2004.05150</a></span>
97. <span id="cite_note-97">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-97) Zaheer, M. et al. (2020). BigBird. <a href="https://arxiv.org/abs/2007.14062" class="external free" rel="nofollow">https://arxiv.org/abs/2007.14062</a></span>
98. <span id="cite_note-98">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-98) Brown, T. et al. (2020). Language Models are Few‑Shot Learners. <a href="https://arxiv.org/abs/2005.14165" class="external free" rel="nofollow">https://arxiv.org/abs/2005.14165</a></span>
99. <span id="cite_note-99">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-99) Su, J. et al. (2021). RoPE. <a href="https://arxiv.org/abs/2104.09864" class="external free" rel="nofollow">https://arxiv.org/abs/2104.09864</a></span>
100. <span id="cite_note-100">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-100) Press, O. et al. (2021/2022). ALiBi. <a href="https://arxiv.org/abs/2108.12409" class="external free" rel="nofollow">https://arxiv.org/abs/2108.12409</a></span>
101. <span id="cite_note-101">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-101) Fedus, W.; Zoph, B.; Shazeer, N. (2021/2022). Switch Transformers. <a href="https://arxiv.org/abs/2101.03961" class="external free" rel="nofollow">https://arxiv.org/abs/2101.03961</a></span>
102. <span id="cite_note-102">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-102) Du, N. et al. (2021). GLaM. <a href="https://arxiv.org/pdf/2112.06905.pdf" class="external free" rel="nofollow">https://arxiv.org/pdf/2112.06905.pdf</a></span>
103. <span id="cite_note-103">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-103) Hoffmann, J. et al. (2022). Chinchilla. <a href="https://arxiv.org/abs/2203.15556" class="external free" rel="nofollow">https://arxiv.org/abs/2203.15556</a></span>
104. <span id="cite_note-104">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-104) Chowdhery, A. et al. (2022). PaLM. <a href="https://arxiv.org/abs/2204.02311" class="external free" rel="nofollow">https://arxiv.org/abs/2204.02311</a></span>
105. <span id="cite_note-105">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-105) Shazeer, N. (2019). Fast Transformer Decoding. <a href="https://arxiv.org/abs/1911.02150" class="external free" rel="nofollow">https://arxiv.org/abs/1911.02150</a></span>
106. <span id="cite_note-106">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-106) Dao, T. et al. (2022). FlashAttention. <a href="https://arxiv.org/abs/2205.14135" class="external free" rel="nofollow">https://arxiv.org/abs/2205.14135</a></span>
107. <span id="cite_note-107">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-107) Touvron, H. et al. (2023). LLaMA. <a href="https://arxiv.org/abs/2302.13971" class="external free" rel="nofollow">https://arxiv.org/abs/2302.13971</a></span>
108. <span id="cite_note-108">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-108) Zhang, B.; Sennrich, R. (2019). RMSNorm. <a href="https://arxiv.org/abs/1910.07467" class="external free" rel="nofollow">https://arxiv.org/abs/1910.07467</a></span>
109. <span id="cite_note-109">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-109) Shazeer, N. (2020). GLU Variants. <a href="https://arxiv.org/abs/2002.05202" class="external free" rel="nofollow">https://arxiv.org/abs/2002.05202</a></span>
110. <span id="cite_note-110">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-110) Chen, S. et al. (2023). Position Interpolation. <a href="https://arxiv.org/abs/2306.15595" class="external free" rel="nofollow">https://arxiv.org/abs/2306.15595</a></span>
111. <span id="cite_note-111">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-111) Peng, B. et al. (2023). YaRN. <a href="https://arxiv.org/abs/2309.00071" class="external free" rel="nofollow">https://arxiv.org/abs/2309.00071</a></span>
112. <span id="cite_note-112">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-112) Kwon, W. et al. (2023). vLLM/PagedAttention. <a href="https://arxiv.org/abs/2309.06180" class="external free" rel="nofollow">https://arxiv.org/abs/2309.06180</a></span>
113. <span id="cite_note-113">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-113) OpenAI (2023). GPT‑4 Technical Report. <a href="https://arxiv.org/abs/2303.08774" class="external free" rel="nofollow">https://arxiv.org/abs/2303.08774</a></span>
114. <span id="cite_note-114">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-114) Gemini Team (2023). Gemini. <a href="https://arxiv.org/abs/2312.11805" class="external free" rel="nofollow">https://arxiv.org/abs/2312.11805</a></span>
115. <span id="cite_note-115">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-115) Gu, A.; Dao, T. (2023). Mamba. <a href="https://arxiv.org/abs/2312.00752" class="external free" rel="nofollow">https://arxiv.org/abs/2312.00752</a></span>
116. <span id="cite_note-116">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-116) Sun, Y. et al. (2023). RetNet. <a href="https://arxiv.org/abs/2307.08621" class="external free" rel="nofollow">https://arxiv.org/abs/2307.08621</a></span>
117. <span id="cite_note-117">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-117) Jiang, A.Q. et al. (2024). Mixtral of Experts. <a href="https://arxiv.org/abs/2401.04088" class="external free" rel="nofollow">https://arxiv.org/abs/2401.04088</a></span>
118. <span id="cite_note-118">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-118) Mistral AI (2024). Mixtral 8x22B. <a href="https://mistral.ai/news/mixtral-8x22b" class="external free" rel="nofollow">https://mistral.ai/news/mixtral-8x22b</a></span>
119. <span id="cite_note-119">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-119) Databricks (2024). Introducing DBRX. <a href="https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm" class="external free" rel="nofollow">https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm</a></span>
120. <span id="cite_note-120">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-120) Lieber, O. et al. (2024). Jamba. <a href="https://arxiv.org/abs/2403.19887" class="external free" rel="nofollow">https://arxiv.org/abs/2403.19887</a></span>
121. <span id="cite_note-121">[↑](https://systems-analysis.info/int/Arquiteturas_de_LLM#cite_ref-121) Shah, M. et al. (2024). FlashAttention‑3. <a href="https://arxiv.org/abs/2407.08608" class="external free" rel="nofollow">https://arxiv.org/abs/2407.08608</a></span>