MAUVE (metric) (HE)
MAUVE — מדד אוטומטי להערכת איכות טקסט הנוצר על ידי מודלי שפה גדולים מודרניים [1]. מדד זה מודד את ה"פער" בין ההתפלגות הסטטיסטית של טקסטים המיוצרים על ידי רשת נוירונים לבין התפלגות הטקסט האנושי[1]. MAUVE מיועד למשימות של יצירת טקסט פתוחה (open-ended generation), כגון המשך טקסט, שבהן אין תשובה נכונה אחת, וההשוואה מתבצעת ברמת התפלגויות הטקסטים ולא ברמת דוגמאות בודדות[1]. השיטה הוצעה בשנת 2021 על ידי קבוצת חוקרים בראשות Krishna Pillutla והוצגה בכנס NeurIPS 2021, שם זכתה בפרס Outstanding Paper Award על חדשנותה ועל השפעתה הפוטנציאלית[2][1].
מתודולוגיית ההערכה
MAUVE משתמש במושג חזיתות הסטייה (divergence frontiers) מתורת המידע להערכה בו-זמנית של שני סוגי שגיאות של מודל גנרטיבי[1]:
- סטייה מאמינות (יצירת טקסט "חסר משמעות").
- ירידה במגוון (טקסט תבניתי מדי).
הרעיון הוא השוואת המאפיינים הסטטיסטיים של התפלגות פלטי המודל עם התפלגות הטקסטים הייחוסיים (האנושיים) על פני מגוון קריטריונים. יישום המדד מתבסס על ייצוג טקסטים בצורת embedding באמצעות מודל שפה גדול ומאומן מראש, ועל חישוב הפערים בין ההתפלגויות המתקבלות במרחב מאפיינים זה[3].
להלן השלבים העיקריים לחישוב MAUVE:
וקטוריזציה של המדגמים
שתי קבוצות הטקסטים — המיוצרים על ידי המודל והאמיתיים — מומרות ל-embedding בעזרת מודל שפה מאומן מראש (למשל, המצב הסמוי האחרון של GPT-2)[3]. ייצוג זה מעביר את הטקסטים למרחב מאפיינים אחיד לצורך השוואה עתידית.
דיסקרטיזציה של ההתפלגויות
ה-embedding המתקבלים מקובצים (למשל בשיטת k-means), מה שמוביל לקוונטיזציה של מרחב המאפיינים הרציף[3]. כתוצאה מכך נוצרות התפלגויות דיסקרטיות מקורבות P (טקסט אנושי) ו-Q (טקסט המודל) לפי האשכולות.
בניית חזית הסטייה
מחשבים את הסטיות בין ההתפלגויות P ו-Q ביחסים שונים של שגיאות מסוג ראשון ושני[1]. למעשה, הכוונה היא להערכת מספר פערים אינפורמטיביים (למשל, דיברגנציות Kullback-Leibler) עבור ערכי סף מרובים המאפיינים את הפשרה בין "דיוק" ל"שלמות" של המודל. קבוצת נקודות כאלה יוצרת עקומת "הבדל ההתפלגויות" (divergence curve)[1].
אינטגרציה ותוצאה
העקומה המתקבלת מאוחדת, כלומר מחשבים את השטח שמתחת לעקומת הסטיות. מדד אינטגרלי זה הוא ערך ה-MAUVE — סקלר המאפיין כמותית את מידת הקרבה בין התפלגות הטקסט של המודל לבין הטקסט האנושי[1]. ה-MAUVE score הסופי מנורמל לתחום שבין 0 ל-1, כאשר ערכים קרובים ל-1 מתאימים לסטייה מינימלית (הטקסט של המודל קרוב סטטיסטית לאנושי)[3].
תוצאות ניסויים ומאפיינים
המחברים בדקו את MAUVE על מספר משימות פתוחות של יצירת טקסט (המשך טקסט מהאינטרנט, כתבות חדשות, סיפורים)[1]. המדד הציג את היכולת לזהות דפוסים ידועים של איכות יצירה. בפרט, עם הגדלת גודל מודל השפה ערך MAUVE עולה, מה שמשקף שיפור בקוהרנטיות ובאמינות הטקסט במודלים גדולים יותר[2]. לעומת זאת, עם הגדלת אורך הקטע המיוצר נצפית ירידה ב-MAUVE, כלומר איכות ההמשכות הארוכות בדרך כלל נמוכה מהקצרות (המודל מתחיל לחזור על עצמו או יוצא מהקשר)[2]. כמו כן, MAUVE מבחין בין השפעות בחירת אלגוריתם יצירת הטקסט: למשל, שינוי אסטרטגיית ה-sampling (טמפרטורה, top-k/nucleus sampling וכדומה) משפיע על התפלגות הפלטים ומתבטא בערך המדד[1].
מאפיין חשוב של MAUVE הוא ההתאמה הגבוהה להערכה אנושית. במחקרים הוצג כי ערכי MAUVE מתאמים חזק עם הערכות איכות סובייקטיביות, ועולים בהתאמה זו על מדדי בסיס ששימשו עד כה ליצירת טקסט פתוחה[3]. במילים אחרות, מודלים עם MAUVE גבוה יותר נתפסים בדרך כלל על ידי בני אדם כמייצרים טקסט משמעותי ו"דמוי-אנושי" יותר. יחד עם זאת, MAUVE מטיל פחות מגבלות ממדדי ההתפלגות שהוצעו קודם לכן: השיטה מתרחבת למודלים גדולים ולטקסטים ארוכים, לוקחת בחשבון מספר היבטים של הבדלים בו-זמנית, בעוד שמדדים סטנדרטיים רבים מתעדים רק היבט סטטיסטי אחד (נקודה אחת על עקומת הסטייה)[1]. גישה מקיפה זו מאפשרת לשפוט בצורה מלאה יותר את איכות פעולתו של מודל גנרטיבי.
יישומים ומחקרים נוספים
אף שבמקור MAUVE פותח למודלי טקסט, גישתו היא אוניברסלית. השיטה יושמה בהצלחה גם על סוגים אחרים של נתונים מיוצרים. למשל, עבור יצירת תמונות (GANs, מודלים דיפוזיים) המדד MAUVE מזהה באופן דומה הבדלים אופייניים בין התפלגויות תמונות אמיתיות וסינתטיות, תוך השגת דיוק ברמת המדדים הקיימים הטובים ביותר או עולה עליהם[2]. בפוטנציה, MAUVE ניתן להתאמה גם ל-modalityות אחרות (שמע, מוסיקה, וידאו), בתנאי שקיימים עבורן embedding משמעותיים סמנטית[3].
המדד זכה להפצה רחבה בקהילת המחקר. המחברים פרסמו מימוש פתוח של MAUVE בשפת Python (זמין דרך PyPI ומשולב בספריית HuggingFace Evaluate) לנוחות שימוש מעשי[3]. בשנת 2023 יצאה עבודה מורחבת בשם "MAUVE Scores for Generative Models: Theory and Practice", שבה נותחו בפירוט המאפיינים התיאורטיים של המדד, גרסאות שונות של חישובו והומלצו המלצות ליישום על טקסט ותמונות[2]. בנוסף, במקביל למאמר המקורי פורסמה עבודה משלימה הקובעת גבולות סטטיסטיים וגודל מדגם נדרש להערכה אמינה של MAUVE[1]. פיתוח רעיונות אלה לא רק מסייע בשיפור איכות מודלים גנרטיביים, אלא גם מניח את היסוד לכלים לזיהוי טקסט מכונה: ככל שמצטמצם הפער בין הטקסטים שיוצרים בינה מלאכותית ובני אדם, מדדים כגון MAUVE יסייעו להבין טוב יותר את פעולת המודלים ולהבחין בין התוכן שלהם לתוכן אנושי[1].
מגבלות והמלצות
מפתחי MAUVE מדגישים שבשימוש מעשי חשוב לעמוד בתנאים מסוימים לנכונות ההערכה. ראשית, נדרש נפח מדגם מספיק: להערכה יציבה של המדד דרושות כמה אלפי דוגמאות מכל סוג (בניסויים המקוריים השתמשו ב-~5000 משפטים). במדגמים קטנים משמעותית, MAUVE עלול להגזים באיכות (הטיה אופטימית) ולתת תוצאות לא יציבות עם שונות גבוהה. שנית, מומלץ לפרש MAUVE בהיבט השוואתי. הערך המוחלט של המדד תלוי בכמה היפרפרמטרים של החישוב (למשל, מספר האשכולות בקוונטיזציה), ולכן ערך MAUVE ישיר של מודל יחיד פחות אינפורמטיבי. מומלץ להשוות את MAUVE של מספר מודלים או שיטות יצירה זה לזה (בהגדרות זהות של המדד) — אז ערך גבוה יותר מצביע חד-משמעית על איכות טקסט קרובה יותר לאנושית. תוך שמירה על המלצות אלה, MAUVE משמש כלי אמין להערכה אובייקטיבית והשוואה של מודלים גנרטיביים.
קישורים חיצוניים
- דף הפרויקט של MAUVE
הערות
- ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 «Allen School News >> Allen School and AI2 researchers paint the NeurIPS conference MAUVE and take home an Outstanding Paper Award». Allen School News. [1]
- ↑ 2.0 2.1 2.2 2.3 2.4 «MAUVE: Statistical Evaluation of LLMs and Generative AI | Institute for Foundations of Machine Learning». Institute for Foundations of Machine Learning. [2]
- ↑ 3.0 3.1 3.2 3.3 3.4 3.5 3.6 «MAUVE: Measuring the Gap Between Neural Text and Human Text — MAUVE». MAUVE project page. [3]