Jamba 1.5 Mini

Материал из Systems analysis Wiki
Перейти к навигации Перейти к поиску

Jamba 1.5 Mini — открытая гибридная SSM-Transformer модель AI21 Labs из семейства Jamba 1.5, выпущенная в августе 2024 года: 12 млрд активных параметров при 52 млрд общих (MoE), контекст 256K токенов. На момент выпуска — сильнейшая открытая модель своего класса (46,1 балла на бенчмарке Arena Hard)[1][2].

См. также

Примечания

  1. ↑ «The Jamba 1.5 Open Model Family», AI21 Labs, август 2024
  2. ↑ «AI21 Introduces the Jamba Model Family», PR Newswire, август 2024