Open-weight és Closed-weight modellek

From Systems analysis Wiki
Jump to navigation Jump to search

Open-weight és Closed-weight modellek — ez a két alapvetően eltérő megközelítés a nagy nyelvi modellek (LLM) fejlesztésére és terjesztésére vonatkozóan, amelyek a modern mesterséges intelligencia ökoszisztéma kulcsfontosságú dichotómiáját alkotják. A két megközelítés közötti választás befolyásolja a technikai lehetőségeket, a gazdasági szempontokat, a biztonságot és az MI jövőbeli fejlődését[1].

A különbség a betanított modellparaméterek (súlyok) elérhetőségében rejlik. Az Open-weight modellek nyilvánosságra hozzák súlyaikat, lehetővé téve a közösség számára azok használatát, módosítását és helyi telepítését. A Closed-weight modellek ezzel szemben titokban tartják a súlyokat, és képességeiket kizárólag saját API-jukon keresztül teszik elérhetővé[2].

Definíciók és főbb különbségek

Open-weight (nyílt súlyú) modellek

Az open-weight modellek olyan rendszerek, amelyekben a neurális hálózat betanított paraméterei (súlyai) nyilvánosan elérhetők felhasználásra, módosításra és terjesztésre. Andrej Karpathy (OpenAI) definíciója szerint az ilyen modell hasonló „egy operációs rendszer bináris fájljának átadásához" — a felhasználók egy működőképes terméket kapnak, de általában nem férnek hozzá a betanítás forráskódjához vagy a tanítási adatokhoz.

Főbb jellemzők:

  • Helyi telepítés: A modell saját hardveren futtatható, teljes adatkontrollt és adatvédelmet biztosítva.
  • Finomhangolás (Fine-tuning): A modell adott feladatokhoz és szakterületekhez igazítható.
  • Átláthatóság és auditálhatóság: A kutatók tanulmányozhatják a modell belső mechanizmusait az elfogultságok és sérülékenységek feltárása érdekében.

Closed-weight (zárt súlyú) modellek

A Closed-weight modellek (más néven proprietáris modellek) olyan rendszerek, amelyek paraméterei üzleti titoknak minősülnek, és csak API-n vagy korlátozott licencek útján érhetők el. Az olyan fejlesztő vállalatok, mint az OpenAI és az Anthropic, teljes mértékben irányítják az architektúrát, a betanítási módszereket és a következtetési mechanizmusokat. A GPT-4 műszaki jelentése kifejezetten jelzi a részletek közzétételének mellőzését „a versenyhelyzetre és a nagyméretű modellek biztonsági következményeire tekintettel"[3].

Főbb jellemzők:

  • Centralizált irányítás: A fejlesztő kezeli a frissítéseket, a biztonságot és a felhasználási irányelveket.
  • Egyszerű használat: Az API-n keresztüli hozzáférés mentesíti a felhasználókat a bonyolult infrastruktúra kezelése alól.
  • Átláthatlanság: A belső mechanizmusokhoz való hozzáférés hiánya lehetetlenné teszi a független auditot, és megnehezíti a hibás vagy elfogult válaszok okainak megértését.

Különbség az open-source fogalmától

Fontos megkülönböztetni az open-weight és az open-source kifejezéseket. Egy valódi open-source modell az összes reprodukáláshoz szükséges összetevő közzétételét feltételezi: a súlyokat, az architektúrát, a betanítási kódot és az adathalmazokat. A legtöbb modern „nyílt" modell — így a Meta Llama modellje is — open-weight, de nem teljesen open-source, mivel betanítási adataik és pontos tanítási módszereik zártak maradnak.

Összehasonlító elemzés: teljesítmény, költség és innováció

Teljesítmény és testreszabhatóság

Történetileg a closed-weight modellek, mint a GPT-4, vezettek az általános benchmark-okon. A teljesítménybeli szakadék azonban gyorsan szűkül. A Stanford AI Index 2025 adatai szerint ez a különbség az elmúlt évben 8%-ról 1,7%-ra csökkent[1]. A hatékony open-weight modellek, mint a Meta LLaMA 3.1 405B-je és a DeepSeek-V3, hasonló, bizonyos feladatokon (különösen programozásban) felülmúló eredményeket mutatnak[4].

Az open-weight modellek legfőbb előnye a mély testreszabhatóság. A specifikus adatokon való finomhangolás lehetősége révén szűk szakterületeken — mint az orvostudomány vagy a jog — felülmúlhatják a nagyobb, de általános célú closed-weight modelleket.

Gazdasági szempontok

  • Betanítási költség: Az élvonalbeli (frontier) modellek létrehozása rendkívül drága. A GPT-4 betanítása több mint 100 millió dollárra becsülhető. Az olyan open-weight modellek, mint a DeepSeek-V3, hasonló teljesítményt érnek el mindössze 5,5 millió dolláros ráfordítással, demokratizálva a hatékony rendszerek fejlesztéséhez való hozzáférést.
  • Használati költség (következtetés): A closed-weight modellek pay-per-use modell szerint díjaznak API-n keresztül, ami nagy igénybevétel esetén magas kiadásokhoz vezethet. A helyileg telepített open-weight modellek kezdeti infrastrukturális befektetést igényelnek, de skálázás esetén lényegesen alacsonyabb teljes tulajdonlási költséggel (TCO) járnak.

Hatás a tudományos kutatásra és az innovációra

Az open-weight modellek alapvetően alakítják át a tudományos kutatást, biztosítva a reprodukálhatóságot és a hozzáférés demokratizálását. A világ minden tájáról érkező kutatók elemezhetik, bírálhatják és fejleszthetik a nyílt modelleket, ami dinamikus ökoszisztémát teremt és felgyorsítja a fejlődést. A zárt modellek ezzel szemben „reprodukálhatósági válságot" idéznek elő, mivel a bejelentett eredmények nem ellenőrizhetők függetlenül.

Biztonság és etikai dilemmák

A biztonsági kérdés a nyíltság és a kontroll közötti vita központi dilemmája.

  • Closed-weight megközelítés (Centralizált megelőzés): Az olyan fejlesztők, mint az OpenAI és az Anthropic, megelőző megközelítést alkalmaznak. Összetett biztonsági szűrőket vezetek be, intenzív „red teaming"-et végeznek, és szigorú irányelveket követnek — például az Anthropic Responsible Scaling Policy-ját —, kötelezettséget vállalva arra, hogy nem telepítenek bizonyos kockázati küszöböket meghaladó modelleket[5].
  • Open-weight megközelítés (Decentralizált reziliencia): Ez a filozófia — az open-source világgal analóg módon — azon az elven alapul, hogy „sok szem minden hibát apróvá tesz". A közösség gyorsabban képes megtalálni és kijavítani a sebezhetőségeket. Ez azonban kockázatokat is teremt: a rosszindulatú szereplők ugyanolyan könnyen tanulmányozhatják a modelleket sebezhetőségek keresése céljából, vagy finomhangolással eltávolíthatják a védelmi mechanizmusokat.

A kutatások azt mutatják, hogy az emberi szándék — nem a modell elérhetősége — a kockázat elsődleges tényezője. A generatív MI-vel való visszaélések dokumentált eseteinek 90%-a az engedélyezett képességek kihasználásával kapcsolatos, nem pedig maguk a rendszerek által generált kárral.

Szabályozási megközelítések: EU és USA

  • EU MI-törvény: Megelőző, kockázatalapú megközelítést alkalmaz. A törvény szigorú kötelezettségeket ír elő a „rendszerkockázatot" hordozó modellekre (amelyek betanításához több mint 1025 FLOP szükséges), ugyanakkor korlátozott mentességeket biztosít az ilyen kockázatot nem hordozó open-source modellekre. Ez átláthatóságra ösztönöz, de szabályozási bonyolultságot is teremt.
  • USA megközelítése: Az innováció ösztönzésén és az ágazati standardokon alapuló kockázatkezelésen alapul. Biden elnök 14110-es végrehajtási rendelete és a rákövetkező NTIA-jelentés azt javasolja, hogy egyelőre tartózkodjon az open-weight modellek azonnali korlátozásától, ehelyett egy monitorozási rendszer felállítását javasolja a tényalapú döntéshozatal érdekében[6].

Főbb modellek és szereplők

Vezető Open-weight és Closed-weight modellek összehasonlító táblázata
Modell típusa Modell Fejlesztő Főbb jellemző
Open-weight LLaMA 3.1 Meta Magas teljesítmény, amely standardot teremtett a nyílt modellek körében; nagy közösség.
Mixtral 8x7B Mistral AI „Szakértők keveréke" (MoE) architektúra, amely magas teljesítményt biztosít alacsony következtetési költség mellett.
Closed-weight GPT-4 / GPT-4o OpenAI Teljesítmény terén történelmi vezető, erős multimodális képességekkel.
Claude 4 Opus Anthropic Biztonságra és etikára fókuszál (Constitutional AI), nagy kontextusablak.

Hivatkozások

  • Stanford AI Index Report 2025 — Az MI állapotáról szóló éves jelentés.
  • NTIA-jelentés a nyílt súlyú modellekről

Irodalom

  • OpenAI et al. (2023). GPT-4 Technical Report. arXiv:2303.08774.
  • Touvron, H. et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288.
  • DeepSeek-AI (2025). DeepSeek-V3 Technical Report. arXiv:2412.19437.
  • Kapoor, S.; Bommasani, R. et al. (2024). On the Societal Impact of Open Foundation Models. arXiv:2403.07918.
  • U.S. NTIA (2024). Dual-Use Foundation Models with Widely Available Model Weights. NTIA Report.
  • Stanford HAI (2025). Artificial Intelligence Index Report 2025. Full PDF.
  • Anthropic (2023). Responsible Scaling Policy. Anthropiс RSP.
  • Klyman, K. et al. (2024). A Design Framework for Open-Source Foundation Model Safety. arXiv:2406.10415.
  • Kembery, E.; Reed, T. (2024). AI Safety Frameworks Should Include Procedure for Model Access Decisions. arXiv:2411.10547.
  • European Commission (2024). General-Purpose AI Models in the AI Act – Q&A. EU AI Act FAQ.
  • Zhang, X. et al. (2025). Mitigating Cyber Risk in the Age of Open-Weight LLMs. arXiv:2505.17109.
  • Biderman, S. et al. (2024). Risks and Opportunities of Open-Source Generative AI. arXiv:2405.08597.

Megjegyzések

  1. 1.0 1.1 «Artificial Intelligence Index Report 2025». Stanford University HAI. [1] Проверено 4 июля 2025.
  2. Karpathy, Andrej. «On Open-sourcing LLMs». X (formerly Twitter).
  3. «GPT-4 Technical Report». OpenAI. [2]
  4. «DeepSeek-V2 and DeepSeek-Coder-V2 Technical Report».
  5. «Anthropic's Responsible Scaling Policy». Anthropic.
  6. «Dual-Use Foundation Models with Widely Available Model Weights». U.S. Department of Commerce, NTIA. (2024).