Malalaking Modelo ng Wika

Malaking modelo ng wika (large language model, LLM) — ito ay uri ng modelo ng Machine Learning, na isinagawa sa pamamagitan ng malalim na neural network na may malaking bilang ng mga parameter (karaniwang bilyon at higit pa) at sinanay sa malalaking dami ng datos na teksto. Ang salitang "malaki" sa kontekstong ito ay tumutukoy nang sabay sa sukat ng mga parameter at sa dami ng corpus ng pagsasanay, na sa mga modernong sistema ay umaabot sa ilang petabytes at trilyon na mga token. Ang mga LLM ay sinasamahan pangunahin gamit ang pamamaraang self-/semi-supervised, na hinuhulaan ang susunod na token sa isang pagkakasunud-sunod at sa gayon ay natututo ng mga istatistikal na pattern ng wika. Ang pagtaas ng mga parameter, datos, at mga hakbang sa pagkalkula ay humahantong sa mahuhulaan na pagpapabuti ng kalidad, na kinukumpirma ng mga scaling laws.

Pagkatapos ng paglabas ng BERT (2017) at lalo na ng GPT-3 (2020), ang pamamaraang LLM ay naging dominante sa natural language processing. Ang mga modernong modelo (GPT-4o, Claude 3, Gemini 1.5, LLaMA 3 at iba pa) nang walang espesyal na pag-aayos ay kayang sumulat ng mga teksto at code, magsalin, mag-summarize, sumagot sa mga tanong at bumuo ng mga kadena ng pangangatuwiran; ang mga multimodal na bersyon ay nagsusuri ng larawan, tunog, at video. Ang pag-ayon sa isang praktikal na gawain ay ginagawa sa pamamagitan ng fine-tuning o prompt engineering (in-context learning). Kasabay ng mga tagumpay, ang mga LLM ay nagmamana ng mga pagkiling at pagkakamali mula sa mga pinagmumulan ng datos, may hilig sa "mga halusipasyon" at nangangailangan ng malalaking mapagkukunan ng pagkalkula, kaya ang mga pananaliksik ngayon ay nakatuon sa alignment ng pag-uugali, pag-filter ng mga corpus, at mga energy-efficient na arkitektura.

Arkitektura

Sa mga modernong LLM ay halos laging ginagamit ang arkitektura ng Transformer — isang network na may mekanismo ng self-attention. Unang iminungkahi ang modelo ng transformer sa papel na Attention is All You Need ng mga developer ng Google noong 2017.

Ang arkitektura ng Transformer — ito ang pangunahing neural network na shema para sa pagtatrabaho sa mga pagkakasunud-sunod, na kinabibilangan ng dalawang lohikal na module — ang encoder (nagko-code ng input) at ang decoder (nagge-generate ng output). Ang isang pagkakasunud-sunod ay tinatanggap bilang input, nilikha ang vector representation nito (embedding), idinadagdag ang vector ng positional encoding, pagkatapos ay ang hanay ng mga elemento nang hindi isinasaalang-alang ang pagkakasunud-sunod ay napupunta sa encoding component (parallel na pagpoproseso), at pagkatapos ay ang decoding component ay tumatanggap ng bahagi ng pagkakasunud-sunod na ito at ang output ng encoding component. Ang resulta ay isang bagong output sequence.

Ang encoding component ng transformer ay binubuo ng ilang magkaparehong encoder layer; katulad din ang istraktura ng decoding component. Ang transformer mismo ay isang pagkakasunud-sunod ng mga modelo ng pansin na nagko-convert ng orihinal na pagkakasunud-sunod ng mga vector sa isang bagong pagkakasunud-sunod, kung saan ang bawat elemento ay isinasaalang-alang ang konteksto ng iba. Binubuo ng encoder ang mga nakatagong representasyon ng input data, na pinapanatili ang impormasyon tungkol sa mga relasyon sa pagitan ng mga elemento. Batay sa mga nakatagong representasyon, ang decoder ay lumilikha ng bagong pagkakasunud-sunod ng mga embedding para sa mga output token. Pagkatapos, batay sa mga embedding na ito, ang mga panghuling output na elemento ay ginagawa gamit ang language model.

Dahil ang mga transformer ay orihinal na ginawa para sa mga gawaing tulad ng machine translation, ang kanilang arkitektura ay nagsasama ng encoder (nagpoproseso ng input text, halimbawa ng pinagmulang pangungusap) at decoder (nagge-generate ng output, halimbawa ng pagsasalin). Gayunpaman, sa maraming language model ay ginagamit lamang ang decoder na bahagi, na gumagana sa autoregressive mode.

Ang mga transformer ay ginagamit sa tatlong pangunahing configuration, na ang bawat isa ay gumagamit ng encoder at decoder nang iba-iba at nakatuon sa sariling hanay ng mga gawain:

• Mga Encoder-transformer (bidirectional) ay natututo na maibalik ang mga sadyang nakatago na fragment ng teksto, kaya angkop para sa mga gawaing "pag-unawa" — klasipikasyon, pagkuha ng katotohanan, semantic search.
• Mga Decoder-transformer (autoregressive) ay ino-optimize para sa paghula ng susunod na token at ginagamit kung saan kailangan ang streaming output: mga conversational agent, autocomplete ng code, malikhaing generation.
• Mga kumpletong scheme na "encoder + decoder" ay pinagsasama ang parehong pamamaraan: binubuo ng encoder ang representasyon ng buong input text, at ang decoder, na umaasa dito, ay unti-unting bumubuo ng resulta. Ang configuration na ito ay pinaka-epektibo para sa machine translation, summarization, at mga sistema ng tanong-sagot.

Tokenization

Ang Tokenization — ito ang pangunahing paunang yugto ng pagpoproseso ng teksto sa mga malaking language model. Sa yugtong ito, ang patuloy na string ng mga simbolo ay hinati sa mga hiwalay na yunit — mga token. Ang tokenization ay gumaganap ng gawain ng pag-convert ng isang pagkakasunud-sunod ng mga simbolo sa isang pagkakasunud-sunod ng mga nakastrukturang elemento na nagbibigay ng epektibong operasyon ng neural network.

Mula sa lingguwistikong pananaw, ang tokenization ay sa ilang paraan ay maaaring tumutugma sa proseso ng pagtukoy ng mga pinakamaliit na yunit ng wika na nagtataglay ng independyenteng kahulugan o functional na karga, tulad ng mga salita, morpema, o mga fragment ng mga ito. Gayunpaman, kadalasan ang isang token ay simpleng isang istatistikal na madalas na lumilitaw na pagkakasunud-sunod ng mga simbolo, kaya mahalagang huwag labis na pag-aralan ang lingguwistikong kahulugan ng lahat ng token. Depende sa napiling scheme, ang isang token ay maaaring: isang buong salita, subword, isang indibidwal na simbolo, isang service marker (halimbawa, mga marker ng simula at katapusan ng pagkakasunud-sunod).

Ang tokenization ay nagbibigay-daan na:

• limitahan ang sukat ng bokabularyo sa katanggap-tanggap na sukat;
• wastong maiproseso ang mga bihira at bagong salita;
• matiyak ang malinaw na pag-map ng teksto sa isang pagkakasunud-sunod ng mga numerical identifier.

Para sa paghahati ng teksto, ginagamit ang mga subword algorithm, ang pinakakaraniwan sa mga ito ay ang Byte Pair Encoding (BPE), WordPiece, at UnigramLM. Ang bawat isa sa kanila ay nagtatayo ng bokabularyo mula sa mga pinaka-karaniwang fragment ng corpus at ginagamit ito para sa sunud-sunod na segmentation ng anumang input text.

Pagkatapos ng yugto ng tokenization, ang bawat yunit ng teksto — token — ay iko-convert sa isang numerical na representasyon na naiintindihan ng neural network. Ang prosesong ito ay kinabibilangan ng ilang sunud-sunod na hakbang:

• Pag-convert ng mga token sa mga identifier: Ang bawat token ay naiugnay sa isang natatanging numerical index batay sa isang nakaraang nagtayo na bokabularyo ng mga token. Ang mga textual token ay pinapalitan ng kanilang mga natatanging numerical identifier (ID). Ang bawat ID ay ang numero ng token sa isang nakaraang nagtayo na bokabularyo, na nagbibigay-daan sa neural network na magtrabaho gamit ang mga numero sa halip na mga salita.
• Pag-convert ng mga identifier sa mga embedding: Para sa bawat token identifier, ang katumbas na vector ng nakapirming dimensyon ay kinukuha o kinakalkula — ang embedding. Ang multidimensional na numerical na representasyong ito ay pinapalitan ang ID at naglalaman na ng impormasyon tungkol sa kahulugan at contextual na katangian ng token. Ang lahat ng embedding ay may parehong haba para sa kaginhawaan ng pagpoproseso.
• Pagdaragdag ng mga positional encoding: Dahil ang arkitektura ng Transformer sa sarili nito ay hindi isinasaalang-alang ang pagkakasunud-sunod ng mga elemento, ang mga positional encoding ay idinaragdag sa mga embedding, na nagbibigay ng impormasyon tungkol sa posisyon ng token sa pagkakasunud-sunod. Sa madaling salita, dahil dito ang modelo ay "alam" kung aling token ang una, pangalawa, pangatlo at iba pa sa pangungusap.
• Pagbuo ng mga input matrix: Sa output, ang isang matrix ng dimensyon [длина последовательности × размерность эмбеддинга] ay nakuha, na nagsisilbing paunang representasyon ng teksto at ipinapadala sa input ng neural network, partikular sa mga self-attention block ng Transformer. Ang bawat hilera ng matrix na ito ay tumutugma sa isang token, at ang vector na nilalaman nito ay nagdadala ng parehong semantic na kahulugan nito (embedding) at ng impormasyon tungkol sa posisyon nito sa teksto (positional encoding).

Текст → Токены → Идентификаторы → Эмбеддинги + Позиционные кодировки → Вход в модель

Mekanismo ng Pansin

Ang mekanismo ng pansin (attention mechanism) — ito ang pangunahing bahagi ng arkitektura ng Transformer, na nagbibigay ng kakayahan na isaalang-alang ang mga dependency sa pagitan ng mga token anuman ang distansya sa pagitan nila sa pagkakasunud-sunod. Matapos ma-convert ang input text sa isang pagkakasunud-sunod ng mga vector, ang pagkakasunud-sunod na ito ay napupunta sa sentral na elemento ng transformer — ang attention block.

Ang mekanismo ng pansin ay isang paraan para sa neural network na matukoy kung aling mga bahagi ng input data ang dapat na bigyan ng mas maraming pansin kapag pinoproseso ang bawat elemento ng pagkakasunud-sunod. Salamat dito, ang mga vector ng mga indibidwal na fragment ng teksto ay maaaring makipag-ugnayan sa isa't isa, yumaman sa impormasyon at i-update ang kanilang mga halaga isinasaalang-alang ang nakapaligid na konteksto. Sa pamamagitan nito, ang modelo ay nakakakuha ng kakayahang epektibong makuha ang parehong lokal at malayong dependency sa pagitan ng mga token, na makabuluhang nagpapataas ng kakayahang mag-interpret ng mga kumplikadong istruktura ng teksto.

Sa natural na wika, ang kahulugan ng isang salita o ekspresyon ay hindi tinutukoy nang nakahiwalay — ito ay nakasalalay sa konteksto, ibig sabihin sa iba pang mga salita at istruktura sa paligid. Sa mga neural network, ang teksto ay naka-encode sa pamamagitan ng mga vector representation — mga embedding, na numerically sumasalamin sa lexical at syntactic na katangian ng mga token. Nang walang mekanismo ng direktang pansin (tulad ng sa Transformer), ang impormasyon tungkol sa konteksto ay maaaring mawala sa malalayong distansya (tulad ng sa mga simpleng modelo), o maipapasa nang sunud-sunod, na hindi gaanong epektibo para sa pagkuha ng malalayong relasyon. Gayunpaman, sa natural na wika ang kahulugan ng isang salita o syntactic na konstruksyon ay dinamiko, at ang interpretasyon nito ay dapat mag-adapt depende sa konteksto. Ang mekanismo ng pansin ay gumaganap ng contextualization ng mga vector representation, na nangangahulugang (o simpleng :):

• Ang bawat token ay "sinusuri" ang sarili nitong kahalagahan kaugnay ng iba pang mga token sa pangungusap.
• Sa proseso ng pag-update, ang mga vector representation ay yumayaman sa mutual na impormasyon, na sumasalamin sa mga syntactic dependency, semantic na tungkulin, at pragmatic na konteksto.

Bilang resulta ng pagpapalitang ito ng impormasyon, ang mga na-update na vector ay nagsisimulang i-encode hindi lamang ang kahulugan ng token mismo, kundi pati na rin ang mga grammatical na koneksyon nito (syntax), ang tungkulin nito sa inilarawang sitwasyon (semantics), at ang pangkalahatang kahulugan sa konteksto (pragmatics).

Входные векторы токенов (с позициями) → Механизм Внимания (Взаимодействие векторов) → Контекстуализированные векторы токенов (Векторы обогащенные информацией о связях с другими токенами)

Teknikal na Implementasyon ng Mekanismo ng Pansin

Ang panloob na istraktura ng mekanismo ng pansin ay kinabibilangan ng ilang pangunahing computational na hakbang at mga bahagi. Para sa bawat input vector, tatlong vector ang ginagawa: Query, Key, at Value. Batay sa kanilang interaksyon, ang mga timbang ng pansin ay kinakalkula, na pagkatapos ay ginagamit para makuha ang mga na-update, contextualized na vector representation. Ang isang karaniwang pamamaraan ay ang paggamit ng Multi-Head Attention architecture para sa parallel na pagpoproseso ng impormasyon.

Query, Key, Value

Sa batayan ng pagkalkula ng mekanismo ng pansin ay ang pag-convert ng bawat input vector (na siyang kabuuan ng embedding ng token at ng positional encoding nito) sa tatlong iba't ibang vector representation: Query (Q), Key (K), at Value (V).

Konceptuwal, ang tatlong vector na ito ay gumaganap ng mga sumusunod na tungkulin sa mekanismo ng pansin:

• Query: Kumakatawan sa vector ng kasalukuyang token, na nagpasimula ng proseso ng paghahanap ng may kaugnayang impormasyon sa pagkakasunud-sunod. Maaari itong ituring bilang isang "tanong" o "probe", na ginagamit upang suriin ang kahalagahan ng iba pang mga token kaugnay ng kasalukuyan.
• Key: Gumaganap bilang identifier o "label", na naglalarawan ng aspeto ng nilalaman ng bawat token. Ang Query vector (Q) ng kasalukuyang token ay inihahambing sa lahat ng Key vector (K) sa pagkakasunud-sunod (kasama ang sarili nito) upang matukoy ang antas ng kanilang pagtutugma o kaugnayan.
• Value: Naglalaman ng aktwal na impormasyon o representasyon na nauugnay sa bawat token, na ipapasa pa. Matapos kalkulahin ang mga timbang ng pansin batay sa interaksyon ng mga Query at Key, ang mga timbang na ito ay inilalapat sa mga Value vector para bumuo ng panghuling weighted na representasyon, na siyang output ng mekanismo ng pansin para sa token na iyon.

Pagsasanay ng Malalaking Modelo ng Wika

Ang pagsasanay ng LLM ay nangyayari pangunahin sa dalawang yugto:

1. Pretraining Sa yugtong ito, ang modelo ay sinasamahan sa malalaking hindi na-label na corpus ng teksto gamit ang pamamaraan ng self-supervised learning. Ang gawain ay ang paghula ng susunod na token sa isang pagkakasunud-sunod (autoregression) o ang pagpapanumbalik ng mga nakatagong fragment (masked learning). Ang Pretraining ay nagbibigay-daan sa modelo na matuto ng malawak na istatistikal na mga pattern ng wika, gramatika, mga katotohanan tungkol sa mundo, at mga pangunahing anyo ng pangangatuwiran.
2. Fine-tuning Pagkatapos ng pretraining, ang modelo ay karagdagang sinasamahan sa mga espesyalisadong datos para sa pagganap ng mga partikular na gawain, halimbawa, pagbuo ng mga tugon, klasipikasyon ng teksto, o pagpapatupad ng mga instruksyon. Ang mga modernong pamamaraan ay kinabibilangan ng:
   • Fine-tuning sa mga may label na dataset (supervised fine-tuning).
   • Reinforcement learning mula sa human feedback (RLHF, reinforcement learning from human feedback) para sa pag-aayos ng pag-uugali ng modelo ayon sa mga target na sukatan ng kalidad, kaligtasan, at pagiging kapaki-pakinabang.

Mga Problema at Limitasyon

Sa kabila ng kahanga-hangang pag-unlad, ang mga modernong Malaking Modelo ng Wika (LLM) ay nagtataglay ng ilang problema at limitasyon:

I. Mga Computational at Arkitektural na Limitasyon

1. Mataas na computational na gastos: Ang pagsasanay at operasyon ng LLM ay nangangailangan ng makabuluhang computational na kapangyarihan, oras, at enerhiya, na nagdudulot ng mataas na ekonomiko at ekolohikal na gastos. Bukod dito, ang autoregressive na katangian ng generation (sunud-sunod na paglikha ng mga token) ay nagpapahina ng parallelization at nagpapabagal sa bilis ng output kumpara sa mga non-autoregressive na pamamaraan.
2. Limitasyon sa haba ng konteksto: Ang arkitektura ng Transformer ay may quadratic na dependency ng computational na gastos at memory requirements sa haba ng pagkakasunud-sunod. Ito ay nagpipilit sa pagtatakda ng isang nakapirming limitasyon (context window) sa dami ng teksto na maaaring iproseso ng modelo nang sabay-sabay, na humahantong sa pagputol ng mahahabang dokumento at pagkawala ng impormasyon sa labas ng window.

II. Mga Problema ng Pagiging Maaasahan at Katumpakan ng Generation

1. Mga Halusipasyon: Ang pagbuo ng factually maling ngunit kapani-paniwalang tumatagal na impormasyon. Ito ay nauugnay sa kawalan ng tunay na pag-unawa sa mundo ng modelo, pagsandig sa mga istatistikal na pattern sa datos, at kawalan ng kakayahang i-verify ang mga binubuong pahayag.
2. Pagtitipon ng mga Error (Error Propagation): Isang proseso kung saan ang mga pagkakamali na nagawa sa mga maagang yugto ng generation ay lumalaki at humahantong sa pagtaas ng mga hindi tumpak na pagkakataon sa mga kasunod na hakbang, na nagbababa ng pangkalahatang kalidad at pagkakatugma ng teksto.
3. Limitadong Compositionality: Mga kahirapan sa mga gawaing nangangailangan ng multi-step na lohikal na pagkuha o tumpak na pagkalkula (halimbawa, pagpaparami ng malalaking numero, paglutas ng mga palaisipan). Ang katumpakan ng mga modelo sa ganitong mga gawain ay mabilis na bumababa sa pagtaas ng kumplikasyon dahil sa autoregressive na katangian ng generation.
4. Mga Paulit-ulit: Hilig sa labis na pag-ulit ng mga salita o parirala, na nagbababa ng impormasyon at pagiging nababasa ng teksto. Nauugnay sa mga katangian ng pagsasanay at mga algorithm ng decoding (pagpili ng susunod na token).
5. Reversal Curse: Kawalan ng kakayahan ng modelo na awtomatikong gamitin ang kaalaman sa kabaligtaran na direksyon: matapos matutunan sa pahayag na "Ang A ay B", ang modelo ay madalas na hindi kayang makuha ang "Ang B ay A".
6. Kompromiso ng "Pagkamalikhain-Katumpakan": Pangangailangan na balansehin ang pagbuo ng iba't ibang, orihinal na mga sagot at ang pagpapanatili ng factual na katumpakan. Ang pagpapataas ng isang aspeto ay madalas na negatibong nakakaapekto sa isa pa, halimbawa, ang mataas na pagkamalikhain ay maaaring mag-correlate sa pagtaas ng mga halusipasyon.

III. Mga Problema ng Interaksyon at Pamamahala:

1. Mababang kontrolabilidad: Kahirapan ng tumpak na kontrol sa estilo, tono, nilalaman ng binubuong teksto o pagsunod sa mga kumplikadong instruksyon. Ang kontrolabilidad ay lubos na nakadepende sa kalidad ng mga input na instruksyon ("mga prompt") at mga pamamaraan ng fine-tuning.
2. Sensitivity sa Mga Pormulasyon: Ang maliliit na pagbabago sa input na kahilingan (prompt) ay maaaring humantong sa makabuluhang magkaibang mga sagot, kahit na ang semantics ng kahilingan ay napanatili. Ito ay nagpapahirap sa pagkuha ng matatag at predictable na mga resulta.

IV. Mga Etikal at Panlipunang Aspeto:

1. Mga Problema ng Pagkiling at Katarungan: Ang mga modelo ay maaaring muling likhain at palakasin ang mga social stereotype, pagkiling, o kasamaan na naroroon sa mga datos ng pagsasanay. Ang pagtitiyak ng katarungan at kaligtasan ng mga modelo ay isang kumplikadong gawain.
2. Problema ng LLM Alignment: Isang mas pangkalahatang problema, na kinabibilangan ng nakaraang punto. Ito ang gawain ng pagtitiyak na ang pag-uugali ng modelo ay naaayon sa mga human values, layunin, at etikal na pamantayan. Kinabibilangan ito ng pakikipaglaban sa pagkiling, mga halusipasyon, pagbuo ng nakakapinsalang nilalaman, at pagpapataas ng kontrolabilidad.
3. Mga Panganib ng Maling Paggamit: Ang posibilidad ng paggamit ng LLM para sa paglikha at malawak na pagpapalaganap ng maling impormasyon, phishing, spam, malisyosong code, o pagbuo ng mga nakakumbinse na pekeng teksto, na nagdudulot ng mga banta sa impormasyon at personal na kaligtasan, at nagpapahina rin ng tiwala sa lipunan.

Mga Sanggunian:

• «Malaking modelo ng wika» // Wikipedia (Bersyong Ruso)
• Large Language Model // Wikipedia (English version)
• Grand Modèle de Langage // Wikipédia (Version française)
• Sprachmodell // Wikipedia (Deutsche version)

• Naveed H. at iba pa. // A Comprehensive Overview of Large Language Models // arXiv:2307.06435, 2023

Panitikan

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Brown, T. et al. (2020). Language Models Are Few-Shot Learners. arXiv:2005.14165.
• Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. arXiv:2001.08361.
• Hoffmann, J. et al. (2022). Training Compute-Optimal Large Language Models. arXiv:2203.15556.
• Ouyang, L. et al. (2022). Training Language Models to Follow Instructions with Human Feedback. arXiv:2203.02155.
• Bai, Y. et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arXiv:2212.08073.
• Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early Experiments with GPT-4. arXiv:2303.12712.
• OpenAI. (2023). GPT-4 Technical Report. arXiv:2303.08774.
• Touvron, H. et al. (2024). The Llama 3 Herd of Models. arXiv:2407.21783.