--- title: "Low-Rank Adaptation (LoRA) (TL)" source: "https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)" wiki: "systems-analysis.info/int" article: "Low-Rank_Adaptation_(LoRA)_(TL)" language: "tl" categories: - "Category:Large language models" - "Category:Machine learning" - "Category:Tagalog" revision_id: 3934 wiki_created_at: 2026-09-06T23:28:10Z wiki_modified_at: 2026-09-06T23:28:10Z downloaded_at: 2026-09-07T22:59:46Z --- # Low-Rank Adaptation (LoRA) (TL) **Low-Rank Adaptation** (**LoRA**) — ito ay isang paraan ng parameter-efficient fine-tuning (PEFT) na nagbibigay-daan sa pag-aangkop ng malalaking language model (LLM) sa mga bagong gawain nang may pinakamababang gastos sa pagkompyut. Ang teknolohiyang ito ay unang ipinakita sa pag-aaral ni **Edward Hu** at ng kanyang mga kasamahan noong taong 2021^{[\[1\]](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_note-hu2021-1)}. Ang buong fine-tuning (*full fine-tuning*) ng malalaking modelo, tulad ng LLaMA o GPT, ay nangangailangan ng napakalaking mapagkukunan, na ginagawa itong hindi mapupuntahan ng karamihan sa mga mananaliksik at developer. Niresolba ng LoRA ang problemang ito sa pamamagitan ng pagpapahintulot na i-fine-tune lamang ang isang maliit na bahagi ng mga parameter ng modelo, habang pinananatili ang mataas na kalidad at pagganap na maihahambing sa buong fine-tuning^{[\[2\]](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_note-mao2024-2)}. ## Prinsipyo ng Pagtatrabaho Ang pangunahing ideya ng LoRA ay hindi baguhin ang mga orihinal na timbang ng pre-trained na modelo, kundi magdagdag ng isang maliit na "nagtatamang" matris. Sa halip na direktang sanayin ang napakalaking matris ng timbang na \`W\`, kinakatawan ng LoRA ang pagbabago nito bilang produkto ng dalawang maliliit na matris ng mababang ranggo. Pormal na sinasabi, kung ang orihinal na matris ng timbang ng layer na \`W_0\` ay may sukat na \`d × k\`, ang pagbabago nito ay kinakatawan bilang \`ΔW = BA\`, kung saan ang \`B\` ay isang matris na may dimensyon na \`d × r\`, at ang \`A\` ay isang matris na may dimensyon na \`r × k\`. Ang ranggo na \`r\` ay isang hyperparameter at makabuluhang mas maliit (\`r \<\< d, k\`). Sa proseso ng fine-tuning, ang mga orihinal na timbang na \`W_0\` ay **inilalagay sa yelo** (ini-freeze), at ang mga matris na \`A\` at \`B\` lamang ang sinasamahan. Ang panghuling matris ng timbang ay kinakalkula bilang \`W = W_0 + BA\`. Pinapayagan nito ang pagbabawas ng bilang ng mga naituturo na parameter nang libu-libong beses. Halimbawa, sa fine-tuning ng **GPT-3** (175 bilyong parameter), binabawasan ng LoRA ang bilang ng mga naituturo na parameter nang 10,000 beses at binabawasan ang mga pangangailangan sa GPU memory nang 3 beses^{[\[1\]](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_note-hu2021-1)}. ## Mga Pangunahing Pakinabang - **Pagtitipid ng Mapagkukunan**: Lubos na nababawasan ang bilang ng mga naituturo na parameter (hanggang 90% at higit pa), na makabuluhang nagpapababa ng pagkonsumo ng video memory (VRAM) at nagpapabilis ng proseso ng pagsasanay. - **Kawalan ng Pagkaantala sa Panahon ng Paggamit (inference)**: Pagkatapos ng pagsasanay, ang mga matris na \`B\` at \`A\` ay maaaring "pagsamahin" sa pangunahing matris na \`W_0\`, sa pamamagitan ng pagkalkula ng \`W = W_0 + BA\`. Sa ganitong paraan, walang karagdagang pagkompyut o pagkaantala na idinaragdag sa panahon ng paggamit ng modelo^{[\[1\]](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_note-hu2021-1)}. - **Modularity at Mabilis na Pagpapalit ng Gawain**: Ang mga sinanay na LoRA adapter ay malilit na mga file (ilang megabyte). Nagbibigay-daan ito sa madaling pag-iimbak ng dose-dosenang adapter para sa iba't ibang gawain at mabilis na paglipat sa pagitan ng mga ito, nang hindi binabago ang pangunahing modelo^{[\[3\]](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_note-ibm_lora-3)}. ## Mga Limitasyon at Modipikasyon Kahit na napaka-epektibo ng LoRA, ang mababang-ranggo na katangian nito ay maaaring maging limitasyon para sa mga gawaing nangangailangan ng pag-iimbak ng malaking dami ng bagong impormasyon. Para matugunan ang problemang ito at iba pang mga isyu, iba't ibang modipikasyon ang iminungkahi. ### QLoRA **QLoRA** (Quantized Low-Rank Adaptation) — isa sa mga pinakasikat na modipikasyon, na iminungkahi noong 2023. Pinagsasama nito ang LoRA at **4-bit na quantization** ng base na modelo^{[\[4\]](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_note-dettmers2023-4)}. Nagbibigay-daan ito na lalong mapababa ang mga pangangailangan sa memory, na ginagawang posible ang fine-tuning ng mga modelo na may dose-dosenang bilyong parameter (halimbawa, mga 65B na modelo) sa isang consumer GPU. Batay sa QLoRA, ang modelong **Guanaco** ay nilikha, bukod sa iba pa, na nagpakita ng mga resultang maihahambing sa ChatGPT. ### Iba Pang Modipikasyon - **MoRA** (High-Rank Updating): Iminungkahi para sa mga gawaing kung saan ang LoRA ay nagpapakita ng hindi sapat na pagganap dahil sa limitasyon ng ranggo. Gumagamit ang MoRA ng mga pamamaraan na nagpapahintulot ng pag-update ng mga timbang na may mataas na ranggo, habang pinananatili ang kahusayan ng parameter^{[\[5\]](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_note-jiang2024-5)}. ## Implementasyon at Paggamit Ang teknolohiyang LoRA ay naging laganap dahil sa kahusayan nito at kaginhawahan ng integrasyon. Isang mahalagang papel sa pagpapasikat nito ang ginampanan ng library na **PEFT** (Parameter-Efficient Fine-Tuning) mula sa kumpanyang **Hugging Face**. Nagbibigay ang PEFT ng iisang interface para sa paglalapat ng LoRA at iba pang mga pamamaraan ng PEFT sa mga modelo mula sa Transformers ecosystem^{[\[6\]](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_note-hf_peft-6)}. Ang LoRA ay aktibong ginagamit para sa: - Pag-aangkop ng mga chatbot at sistema ng diyalogo (halimbawa, fine-tuning ng LLaMA, Mistral). - Paglikha ng mga modelo para sa klasipikasyon at pagbuo ng teksto sa mga makitid na espesyalisadong larangan. - Personalisasyon ng mga modelo para sa isang partikular na estilo o format ng data. ## Mga Sanggunian - Opisyal na dokumentasyon ng PEFT library mula sa Hugging Face ## Panitikan - Hu, E.J. et al. (2021). *LoRA: Low-Rank Adaptation of Large Language Models*. arXiv:2106.09685. - Dettmers, T. et al. (2023). *QLoRA: Efficient Finetuning of Quantized LLMs*. arXiv:2305.14314. - Zhang, Q. et al. (2023). *AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning*. arXiv:2303.10512. - Chen, Y. et al. (2023). *LongLoRA: Efficient Fine-Tuning of Long-Context Large Language Models*. arXiv:2309.12307. - Mao, K. et al. (2024). *A Survey on LoRA of Large Language Models*. arXiv:2407.11046. - Jiang, T. et al. (2024). *MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning*. arXiv:2405.12130. - Liu, Z. et al. (2024). *ALoRA: Allocating Low-Rank Adaptation for Fine-Tuning Large Language Models*. arXiv:2403.16187. - Liu, J. et al. (2025). *RoRA: Efficient Fine-Tuning of LLM with Reliability Optimization for Rank Adaptation*. arXiv:2501.04315. - Albert, P. et al. (2025). *RandLoRA: Full-Rank Parameter-Efficient Fine-Tuning of Large Models*. arXiv:2502.00987. - Tastan, N. et al. (2025). *LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning*. arXiv:2505.21289. ## Mga Tala 1. ↑ ^{[1.0](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_ref-hu2021_1-0)} ^{[1.1](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_ref-hu2021_1-1)} ^{[1.2](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_ref-hu2021_1-2)} Hu, E.J., et al. «LoRA: Low-Rank Adaptation of Large Language Models». *arXiv:2106.09685*. [1] 2. [↑](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_ref-mao2024_2-0) Mao, K., et al. «A Survey on LoRA of Large Language Models». *arXiv:2407.11046*. [2] 3. [↑](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_ref-ibm_lora_3-0) Noble, Joshua. «What is LoRA (Low-Rank Adaption)?». *IBM Technology*. [3] 4. [↑](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_ref-dettmers2023_4-0) Dettmers, T., et al. «QLoRA: Efficient Finetuning of Quantized LLMs». *arXiv:2305.14314*. [4] 5. [↑](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_ref-jiang2024_5-0) Jiang, Z., et al. «MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning». *arXiv:2405.12130*. [5] 6. [↑](https://systems-analysis.info/int/Low-Rank_Adaptation_(LoRA)_(TL)#cite_ref-hf_peft_6-0) «LoRA (Low-Rank Adaptation)». *Hugging Face LLM Course*. [6]