Encoder–decoder architecture — ארכיטקטורת encoder–decoder

מודלים מסוג מקודד-מפענח (англ. Encoder-Decoder Models) — הם מחלקה של ארכיטקטורות רשתות נוירונים המיועדות לפתרון משימות המרת רצף לרצף (sequence-to-sequence, seq2seq). ארכיטקטורה זו מורכבת משני מרכיבים עיקריים:

• מקודד (Encoder): מעבד את רצף הקלט ודוחס אותו לייצוג מספרי קומפקטי (וקטור הקשר או רצף מצבים נסתרים).
• מפענח (Decoder): לוקח ייצוג זה ומייצר על בסיסו את רצף הפלט.

ארכיטקטורה זו מהווה בסיס למשימות רבות של עיבוד שפה טבעית (NLP) וראייה ממוחשבת, כגון תרגום מכונה, סיכום טקסט וכיתוב תמונות.

קונספט

הרעיון המרכזי של ארכיטקטורת מקודד-מפענח הוא הפרדה בין משימות ההבנה והיצירה. המקודד אחראי על הבנת רצף הקלט, תוך חילוץ כל המידע הסמנטי הדרוש ממנו. המפענח אחראי על יצירת רצף חדש, תוך שימוש במידע שסיפק המקודד.

הדבר מאפשר למודל לעבוד עם רצפים בעלי אורכים שונים בקלט ובפלט, מה שהיה קשה לביצוע בארכיטקטורות קודמות.

אבולוציה של הארכיטקטורה

מודלים מוקדמים מבוססי RNN/LSTM

במקור, ארכיטקטורת מקודד-מפענח יושמה תוך שימוש ברשתות נוירונים רקורנטיות (RNN) או בגרסתן המשופרת LSTM.

• מקודד: מקודד ה-RNN עיבד את רצף הקלט token אחר token ובפלט הפיק וקטור הקשר אחד — מצב נסתר לאחר עיבוד ה-token האחרון, שאמור היה להכיל מידע על הרצף כולו.
• מפענח: מפענח ה-RNN אותחל עם וקטור הקשר זה ויצר את רצף הפלט באופן אוטו-רגרסיבי.

החיסרון העיקרי של גישה זו היה בעיית "צוואר הבקבוק": כל המידע מרצף הקלט היה צריך להידחס לוקטור אחד באורך קבוע, מה שהוביל לאיבוד מידע, במיוחד ברצפים ארוכים.

הכנסת מנגנון הקשב

הפריצה התרחשה עם הכנסת מנגנון הקשב (attention mechanism) (Bahdanau et al., 2014).

• עיקרון הפעולה: במקום להסתמך על וקטור הקשר אחד, המפענח בכל שלב יצירה "שם לב" לכל המצבים הנסתרים של המקודד. הוא מחשב משקלי קשב המראים אילו חלקים של רצף הקלט הרלוונטיים ביותר לייצור ה-token הנוכחי בפלט.
• יתרונות: פתרון זה פתר את בעיית "צוואר הבקבוק" ואיפשר למודל לעבוד ביעילות עם רצפים ארוכים, תוך שיפור משמעותי באיכות, במיוחד בתרגום מכונה.

ארכיטקטורת Transformer

בשנת 2017, במאמר «Attention Is All You Need» הוצגה ארכיטקטורת הTransformer, שוויתרה לחלוטין על רקורנטיות לטובת מנגנון הקשב.

• מקודד ה-Transformer: מורכב ממחסנית שכבות, שכל אחת מהן משתמשת בself-attention ליצירת ייצוגים קונטקסטואליים עבור כל token קלט.
• מפענח ה-Transformer: מורכב ממחסנית שכבות, שלכל אחת שני סוגים של מנגנוני קשב:
  • Masked Self-Attention: לעיבוד החלק שכבר נוצר של רצף הפלט.
  • Cross-Attention: ל"שימת לב" לייצוגי הפלט של המקודד.

ארכיטקטורה זו הפכה לסטנדרט למשימות seq2seq הודות לביצועים הגבוהים שלה ולאפשרות המקבול של החישובים.

שימושים

ארכיטקטורת מקודד-מפענח היא הסטנדרט למגוון רחב של משימות:

• תרגום מכונה: המרת משפט משפה אחת לאחרת.
• סיכום טקסט אוטומטי: יצירת תמצית של מסמך ארוך.
• מערכות דיאלוג: יצירת תשובה לפנייה של משתמש.
• כיתוב תמונות (Image Captioning): מקודד (לעיתים קרובות מבוסס רשת נוירונים קונבולוציונית) מעבד את התמונה, ומפענח (לעיתים קרובות RNN או Transformer) מייצר את תיאורה הטקסטואלי.
• זיהוי דיבור: המרת אות שמע לתמלול טקסטואלי.

מודלים עיקריים

• Transformer המקורי (Vaswani et al., 2017): המודל שהציג ארכיטקטורה זו.
• BART (Bidirectional and Auto-Regressive Transformers): מודל של Facebook, המאומן מראש על משימת שחזור טקסט "מקולקל". המקודד הוא דו-כיווני (כמו ב-BERT), והמפענח הוא אוטו-רגרסיבי (כמו ב-GPT).
• T5 (Text-to-Text Transfer Transformer): מודל של Google, המאחד את כל משימות ה-NLP על ידי הצגתן כבעיית המרת טקסט לטקסט. T5 הראה תוצאות מצטיינות על מגוון רחב של benchmark-ים.

השוואה עם ארכיטקטורות אחרות

השוואת ארכיטקטורות מפתח מבוססות Transformer

ארכיטקטורה	משימה עיקרית	מרכיבים	מודלים אופייניים
מקודד-מפענח	המרת רצף לרצף	מקודד + מפענח	T5, BART, Transformer המקורי
מקודד בלבד	הבנת טקסט	מקודד בלבד	BERT, RoBERTa
מפענח בלבד	יצירת טקסט	מפענח בלבד

ספרות

• Bahdanau, D. et al. (2014). Neural Machine Translation by Jointly Learning to Align and Translate. arXiv:1409.0473.
• Sutskever, I. et al. (2014). Sequence to Sequence Learning with Neural Networks. arXiv:1409.3215.
• Luong, M.-T. et al. (2015). Effective Approaches to Attention-based Neural Machine Translation. arXiv:1508.04025.
• Wu, Y. et al. (2016). Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. arXiv:1609.08144.
• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv:1706.03762.
• Britz, D. et al. (2017). Massive Exploration of Neural Machine Translation Architectures. arXiv:1703.03906.
• Lewis, M. et al. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation. arXiv:1910.13461.
• Raffel, C. et al. (2020). Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer. arXiv:1910.10683.
• Dong, L. et al. (2019). Unified Language Model Pre-training for Natural Language Understanding and Generation. arXiv:1905.03197.
• Zhang, J. et al. (2020). PEGASUS: Pre-training with Extracted Gap-Sentences for Abstractive Summarization. arXiv:1912.08777.