Temperature (LLM) (TH)

อุณหภูมิ (อังกฤษ: Temperature) ในบริบทของโมเดลภาษาขนาดใหญ่ (LLM) คือ hyperparameter ที่ควบคุมระดับความสุ่มและ "ความสร้างสรรค์" ในการสร้างข้อความ โดยปรับความ "คมชัด" หรือในทางกลับกัน ความ "เรียบเนียน" ของการแจกแจงความน่าจะเป็นของ token ถัดไปในแต่ละขั้นตอนของการ decoding การปรับอุณหภูมิช่วยให้ควบคุมสมดุลระหว่างความสามารถในการทำนาย (coherence) และความหลากหลาย (ความสร้างสรรค์) ของข้อความที่สร้างขึ้นได้

คำอธิบายง่าย ๆ

อุณหภูมิ คือพารามิเตอร์ที่กำหนดว่า โมเดลเลือกคำถัดไปอย่างระมัดระวังหรืออิสระเพียงใด โมเดลภาษาขนาดใหญ่แทบไม่เคยมีทางต่อเพียงทางเดียว: โดยปกติในแต่ละขั้นตอนจะมีตัวเลือกที่เหมาะสมหลายตัว และแต่ละตัวมีความน่าจะเป็นของตัวเอง อุณหภูมิไม่ได้ส่งผลต่อความรู้ของโมเดลหรือ "สิ่งที่โมเดลรู้" แต่ส่งผลต่อ วิธีที่โมเดลเลือก ระหว่างตัวเลือกเหล่านั้นในระหว่างการสร้างข้อความ

เมื่อ อุณหภูมิต่ำ โมเดลจะมีพฤติกรรมอนุรักษ์นิยมมากขึ้น โมเดลจะ "เชื่อมั่น" ในคำที่มีความน่าจะเป็นสูงสุดมากขึ้น และเบี่ยงเบนจากทางต่อที่คาดหวังน้อยลง ผลลัพธ์คือข้อความมักจะเรียบ คาดเดาได้ ถูกต้องตามรูปแบบ และสอดคล้องกันมากขึ้น โหมดนี้มีประโยชน์เมื่อความแม่นยำของถ้อยคำ ความเสถียรของคำตอบ การทำซ้ำของผลลัพธ์ และการลดความผันแปรที่ไม่จำเป็นเป็นสิ่งสำคัญ อย่างไรก็ตาม แนวทางนี้มีข้อเสีย: ข้อความอาจกลายเป็นแม่แบบมากเกินไป แห้งแล้ง น่าเบื่อ และบางครั้ง "ระมัดระวัง" เกินไป เมื่ออุณหภูมิต่ำเกินไป โมเดลอาจเริ่มทำซ้ำโครงสร้างเดิมไม่สิ้นสุด (วนซ้ำ) โดย "ติดอยู่" กับทางต่อที่มีความน่าจะเป็นสูงสุดแต่ไม่เสมอเหมาะสม

เมื่อ อุณหภูมิสูง โมเดลจะมีพฤติกรรมกล้าหาญมากขึ้น โมเดลจะเลือกไม่เพียงแค่คำที่มีความน่าจะเป็นสูงสุด แต่ยังรวมถึงคำที่ไม่ชัดเจนนักด้วย ส่งผลให้คำตอบมีความหลากหลาย มีชีวิตชีวา ไม่ซ้ำแบบ และบางครั้งมีความคิดริเริ่มมากขึ้น สิ่งนี้อาจเป็นประโยชน์ในงานสร้างสรรค์ การระดมความคิด การสร้างไอเดีย งานเขียนเชิงศิลปะ หรือการหาหลายรูปแบบของถ้อยคำ แต่พร้อมกับความหลากหลายที่เพิ่มขึ้น ความเสี่ยงก็เพิ่มขึ้นด้วย: ข้อความอาจมีความเชื่อมโยงน้อยลง แม่นยำน้อยลง และในกรณีสุดโต่ง อาจแปลก ไม่สมเหตุสมผล หรือสุ่ม

แนวคิดที่เข้าใจง่ายคือ อุณหภูมิ ไม่ใช่ตัวควบคุมความรู้ แต่เป็นตัวควบคุมความเสี่ยงในการเลือกคำ อุณหภูมิต่ำทำให้โมเดลเกือบทุกครั้งเลือกตัวเลือก "ปลอดภัยที่สุด" ส่วนอุณหภูมิสูงทำให้โมเดล "เสี่ยง" มากขึ้นและลองทางต่อที่ไม่ชัดเจนนัก

อีกภาพประกอบที่มีประโยชน์: อุณหภูมิสามารถเปรียบได้กับวิธีที่มนุษย์ตอบคำถาม หากต้องการคำตอบที่เป็นทางการ แม่นยำ และระมัดระวัง คนเรามักเลือกถ้อยคำที่เป็นกลางและคาดหวังมากที่สุด ซึ่งคล้ายกับอุณหภูมิต่ำ แต่ถ้าต้องการคิดไอเดียแปลกใหม่ อุปมาอุปไมย โครงเรื่อง หรือตัวเลือกที่ไม่ธรรมดาหลายแบบ ถ้อยคำจะอิสระและกล้าหาญมากขึ้น ซึ่งคล้ายกับอุณหภูมิสูง

ดังนั้น อุณหภูมิรับผิดชอบต่อสมดุลระหว่างคุณสมบัติสองประการของการสร้างข้อความ:

• ความสามารถในการทำนายและความเสถียร ของคำตอบ;
• ความหลากหลายและความน่าแปลกใจ ของถ้อยคำ

ยิ่งอุณหภูมิต่ำ โมเดลก็ยิ่งใกล้เคียงกับทางต่อที่มีความน่าจะเป็นสูงสุดและเป็นมาตรฐานมากขึ้น ยิ่งอุณหภูมิสูง พื้นที่สำหรับความผันแปรก็ยิ่งกว้าง แต่การควบคุมความเข้มงวดและความสอดคล้องของผลลัพธ์ก็อ่อนแอลง

นิยามเชิงทฤษฎี

ในทางคณิตศาสตร์ อุณหภูมิ ($T$) ถูกนำเข้ามาเป็นตัวหารใน ฟังก์ชัน softmax ซึ่งแปลงค่า logit ของโมเดล ($u_i$) ให้เป็นการแจกแจงความน่าจะเป็น ($P_i$) สูตรมีดังนี้:

$P_i^{(T)}=\frac{e^{u_i/T}}{\sum _j{e}^{u_j/T}}$

โดยที่:

• $P_i^{(T)}$ — ความน่าจะเป็นสุดท้ายของ token ที่ $i$ ที่อุณหภูมิ $T$
• $u_i$ — logit (คะแนนที่ยังไม่ได้ normalize) สำหรับ token ที่ $i$ ที่โมเดลให้ออกมา
• $T$ — พารามิเตอร์อุณหภูมิ (จำนวนบวกเคร่งครัด) ตัวอย่างเช่น ใน API ของ OpenAI สำหรับโมเดลส่วนใหญ่ ช่วงที่อนุญาตคือ 0 ถึง 2.0 โดย 0 เป็นกรณีพิเศษของ greedy decoding (ดูด้านล่าง) ในไลบรารีอื่น (Hugging Face Transformers, llama.cpp) อุณหภูมิสามารถรับค่าบวกใด ๆ ได้

สำคัญ: อุณหภูมิส่งผลต่อเอาต์พุต เฉพาะในโหมด sampling เท่านั้น ในโหมดที่ไม่มีการ sampling (greedy decoding, beam search แบบคลาสสิก) พารามิเตอร์อุณหภูมิไม่มีผล ตัวอย่างเช่น ใน Hugging Face Transformers เพื่อให้อุณหภูมิทำงานได้ จำเป็นต้องเปิดใช้งาน do_sample=True

ผลกระทบของค่าอุณหภูมิ

• $T=1$ (ค่ามาตรฐาน): การแจกแจงความน่าจะเป็นยังคงไม่เปลี่ยนแปลง นี่คือ softmax มาตรฐานที่สะท้อนการทำนายดั้งเดิมของโมเดล
• $T<1$ (อุณหภูมิต่ำ เช่น $0.2$ – $0.7$): การแจกแจงกลายเป็น คมชัด หรือ มีจุดสูงสุด มากขึ้น ความน่าจะเป็นของ token ที่มีความน่าจะเป็นสูงสุดเพิ่มขึ้น ในขณะที่ token ที่มีความน่าจะเป็นต่ำลดลง สิ่งนี้ทำให้การสร้างข้อความมีความ deterministic และคาดเดาได้มากขึ้น โมเดลจะเลือกคำที่ชัดเจนและมีความถี่สูงบ่อยขึ้น ซึ่งเพิ่ม coherence และความถูกต้องทางไวยากรณ์ของข้อความ แต่ลดความหลากหลาย
• $T>1$ (อุณหภูมิสูง เช่น $1.1$ – $1.5$): การแจกแจงกลายเป็น เรียบ หรือ สม่ำเสมอ มากขึ้น ความแตกต่างระหว่างความน่าจะเป็นของ token ลดลง ทำให้โอกาสเลือก token ที่มีความน่าจะเป็นต่ำ (และ "น่าแปลกใจ" มากกว่า) เพิ่มขึ้น สิ่งนี้ทำให้ข้อความสร้างสรรค์ หลากหลาย และคาดเดาไม่ได้มากขึ้น แต่เพิ่มความเสี่ยงในการสร้างวลีที่ไม่สอดคล้องหรือผิดหลักไวยากรณ์

กรณีขอบเขต

• $T\to 0$: ในขีดจำกัดเมื่ออุณหภูมิเข้าใกล้ศูนย์ ฟังก์ชัน softmax จะกลายเป็น argmax โมเดลจะเลือก token ที่มี logit สูงสุดเสมอ โหมดนี้เทียบเท่ากับ greedy decoding และเป็น deterministic อย่างสมบูรณ์ ซึ่งมักนำไปสู่ข้อความที่ซ้ำซากและเป็นแม่แบบ หมายเหตุ: ค่า $T=0$ ไม่สามารถแทนในสูตรโดยตรง (การหารด้วยศูนย์); ในการใช้งานหลายแบบ ค่านี้ถูกจัดการเป็นโหมดพิเศษของการเลือกที่อนุรักษ์นิยมสูงสุด ใกล้เคียงกับ greedy decoding อย่างไรก็ตาม ไม่ใช่ทุก hosted API ที่รับประกัน determinism อย่างสมบูรณ์เมื่อ $T=0$ — ตัวอย่างเช่น ใน Anthropic API แม้ที่อุณหภูมิเป็นศูนย์ ผลลัพธ์อาจมีการเปลี่ยนแปลงเล็กน้อย
• $T\to \mathrm{\infty }$: เมื่ออุณหภูมิเข้าใกล้อนันต์ การแจกแจงความน่าจะเป็นจะกลายเป็น สม่ำเสมอ token ทั้งหมดในพจนานุกรมจะมีความน่าจะเป็นเท่ากัน และโมเดลจะสร้าง "กระแสจิตสำนึก" แบบสุ่ม โดยสูญเสีย coherence ไปอย่างสิ้นเชิง ในทางปฏิบัติ ไม่จำเป็นต้องใช้อนันต์: ที่ $T>2.0$ การแจกแจงก็แทบจะสม่ำเสมออยู่แล้ว และข้อความจะกลายเป็นชุด token ที่ไม่สอดคล้องกัน

การประยุกต์ใช้จริงและคำแนะนำ

การเลือกอุณหภูมิที่เหมาะสมเป็นสิ่งสำคัญอย่างยิ่งและขึ้นอยู่กับงานเฉพาะ ช่วงที่ระบุด้านล่างเป็น การประมาณแบบ heuristic คร่าว ๆ — ค่าที่เหมาะสมอาจแตกต่างกันอย่างมากขึ้นอยู่กับโมเดล domain และงานเฉพาะ

• สำหรับงานสร้างสรรค์ (การเขียนเรื่องสั้น บทกวี สโลแกนการตลาด):
  • แนะนำให้ใช้ อุณหภูมิสูงขึ้น ($T\approx 0.7-1.2$)
  • สิ่งนี้กระตุ้นให้โมเดลสร้างไอเดียที่ไม่คาดคิดและสร้างสรรค์มากขึ้น ใช้คำศัพท์ที่หลากหลาย และหลีกเลี่ยงวลีแม่แบบ

• สำหรับงานที่ต้องการความแม่นยำและข้อเท็จจริง (การตอบคำถาม การสรุปความ การสร้างโค้ด):
  • แนะนำให้ใช้ อุณหภูมิต่ำ ($T\approx 0.0-0.4$)
  • สิ่งนี้ลดความผันแปรและเพิ่มความสามารถในการทำซ้ำของผลลัพธ์ โดยทำให้โมเดลยึดถือทางต่อที่มีความน่าจะเป็นสูงสุดของข้อความ ที่ $T=0$ การสร้างข้อความจะเป็น deterministic (เมื่อ seed ถูกกำหนดไว้และไม่มีแหล่งความสุ่มอื่น) ซึ่งมีประโยชน์สำหรับการทดสอบและ debug แต่อาจซ่อนปัญหาที่ปรากฏเฉพาะเมื่อ sampling อย่างไรก็ตาม อุณหภูมิต่ำเพียงอย่างเดียว ไม่รับประกันความแม่นยำของข้อเท็จจริง — หากโมเดลไม่มีความรู้ที่จำเป็น โมเดลอาจสร้างคำตอบที่ผิดอย่างมั่นใจ เพื่อความแม่นยำสูงสุดของข้อเท็จจริง แนะนำให้รวมอุณหภูมิต่ำกับวิธีการค้นหาจากฐานความรู้ (RAG) และการปรับปรุง prompt ในเอกสาร OpenAI สำหรับงานดึงข้อมูลและการตอบข้อเท็จจริง แนะนำ $T=0$

• สำหรับงาน reasoning คณิตศาสตร์ และการสร้างโค้ด:
  • โดยทั่วไปใช้ อุณหภูมิที่ต่ำกว่า อย่างไรก็ตาม ค่าที่เหมาะสมขึ้นอยู่กับโมเดลและงานเฉพาะอย่างมีนัยสำคัญ
  • หมายเหตุ: ในโมเดล reasoning บางรุ่น (เช่น กลุ่ม OpenAI o1/o3) พารามิเตอร์ sampling อาจ ถูกจำกัดหรือกำหนดค่าตายตัว จากฝั่ง provider กระบวนการ chain-of-thought ภายในต้องการการแจกแจงที่เสถียร ดังนั้น provider อาจปิดกั้นการเปลี่ยนแปลงอุณหภูมิอย่างสมบูรณ์หรือรับค่าจากผู้ใช้เฉพาะในช่วงแคบ

• สำหรับระบบสนทนาและ chatbot:
  • แนะนำให้ใช้ อุณหภูมิปานกลาง ($T\approx 0.5-0.8$)
  • สิ่งนี้ช่วยให้หาสมดุลได้: คำตอบยังคงสอดคล้องและตรงประเด็น แต่ไม่แห้งแล้งหรือน่าเบื่อเกินไป

หมายเหตุ: ในเอกสาร OpenAI API แนะนำให้เปลี่ยน อย่างใดอย่างหนึ่ง ระหว่าง temperature หรือ top_p แต่ ไม่ใช่ทั้งสองพร้อมกัน — มิฉะนั้นพฤติกรรมจะคาดเดาได้ยาก ในตัวอย่างอ้างอิงของ OpenAI API ค่าเริ่มต้นที่มักปรากฏคือ $T=1.0$

การเปรียบเทียบกับ Top-k และ Top-p

อุณหภูมิ ต่างจากวิธีการตัดแต่ง เช่น Top-k และ Top-p (nucleus sampling) ทำงานต่างกัน:

• อุณหภูมิ กระจาย ความน่าจะเป็นใหม่ระหว่าง token ทั้งหมดในพจนานุกรม แต่ ไม่ตัด token ใดออกเลย แม้ที่อุณหภูมิต่ำมาก token ที่มีความน่าจะเป็นต่ำก็ยังมีโอกาสเล็กน้อยแต่ไม่ใช่ศูนย์ที่จะถูกเลือก
• Top-k และ Top-p ใช้ การตัดอย่างเด็ดขาด โดยแยก token ที่ไม่อยู่ใน nucleus ของการเลือกออกไปอย่างสมบูรณ์ การตัดดังกล่าวลดความเสี่ยงในการเลือก token ที่อยู่ใน tail แต่ตัวมันเองเป็น heuristic แบบหยาบและอาจละทิ้งทางต่อที่สมเหตุสมผลซึ่งมีความน่าจะเป็น "จริง" ไม่เป็นศูนย์

ในทางปฏิบัติ พารามิเตอร์เหล่านี้มักถูกใช้ร่วมกัน ตัวอย่างเช่น สามารถตั้งอุณหภูมิปานกลาง (เช่น $T=0.8$) สำหรับสไตล์โดยรวม และเพิ่ม Top-p (เช่น $p=0.9$) เพื่อตัด "tail" ของการแจกแจงและลดความเสี่ยงของข้อผิดพลาดร้ายแรง เมื่ออุณหภูมิต่ำมาก ($T\to 0$) Top-p แทบไม่มีความหมาย เนื่องจากการแจกแจงมีจุดสูงสุดนัยสำคัญเพียงจุดเดียวอยู่แล้ว

ปฏิสัมพันธ์ของอุณหภูมิกับพารามิเตอร์ decoding อื่น ๆ

อุณหภูมิแทบไม่เคยถูกใช้แบบโดดเดี่ยว ในทางปฏิบัติ จะถูกรวมกับ hyperparameter อื่น ๆ เพื่อปรับจูนสมดุล "ความสร้างสรรค์ ↔ ความน่าเชื่อถือ" อย่างละเอียด

ลำดับการใช้พารามิเตอร์ทั่วไป

ในการใช้งาน sampling ที่พบบ่อย (โดยเฉพาะ Hugging Face Transformers) พารามิเตอร์โดยทั่วไปจะถูกใช้ในลำดับต่อไปนี้:

1. โมเดลให้ logit ดิบ ($u_i$) ออกมา
2. ใช้ โทษสำหรับการซ้ำ (repetition / frequency / presence penalty) — การปรับ logit ตาม token ที่สร้างขึ้นแล้ว
3. อุณหภูมิ ปรับขนาด logit: $u_i/T$
4. ใช้ softmax → ได้การแจกแจงความน่าจะเป็นใหม่
5. การตัด (truncation): ก่อน Top-k (ถ้ากำหนด) จากนั้น Top-p หรือ Min-p
6. จาก "nucleus" ที่เหลือจะมีการ สุ่มเลือก (sampling)

ในรูปแบบทั่วไปนี้ อุณหภูมิจะเปลี่ยนรูปร่างของการแจกแจง หลัง จากใช้โทษสำหรับการซ้ำ แต่ ก่อน softmax และการกรอง ดังนั้น $top\mathrm{\_}p=0.9$ เดียวกันที่ $T=0.2$ และ $T=1.5$ จะให้ขนาด "nucleus" ที่แตกต่างกันอย่างสิ้นเชิง โทษและอุณหภูมิมีปฏิสัมพันธ์แบบไม่เชิงเส้น ซึ่งสำคัญต้องคำนึงถึงเมื่อปรับพารามิเตอร์ ลำดับภายในของการใช้ใน hosted API (OpenAI, Anthropic) ไม่ได้ถูกบันทึกเป็นสาธารณะในระดับรายละเอียดดังกล่าว

Top-p (nucleus sampling) และ Min-p

Min-p (minimum probability sampling) เป็นวิธีการตัดค่อนข้างใหม่ที่กำหนดขีดล่างของความน่าจะเป็นเทียบกับ token ที่มีความน่าจะเป็นสูงสุด (โดยปกติ 0.05–0.1) ต่างจาก Top-p ตรงที่ตัด token ตามขีดสัมพัทธ์ (ผูกกับความน่าจะเป็นของ token ที่ดีที่สุด ไม่ใช่มวลสะสมที่ตายตัว) ซึ่งมีประสิทธิภาพเป็นพิเศษที่อุณหภูมิสูง (>0.8): ป้องกันการเลือก token ที่ไม่เหมาะสมอย่างสิ้นเชิงโดยไม่สูญเสียความหลากหลายอย่างมีนัยสำคัญ Min-p รองรับโดย inference stack โอเพนซอร์สยอดนิยมหลายรายการ รวมถึง vLLM และ llama.cpp

Repetition / Frequency / Presence penalty

Frequency_penalty และ presence_penalty (OpenAI API) ลดความน่าจะเป็นของการซ้ำ token ที่เคยปรากฏแล้ว พวกมันสามารถชดเชยข้อเสียประการหนึ่งของอุณหภูมิต่ำ ซึ่งก็คือแนวโน้มต่อการเป็นแม่แบบและการวนซ้ำ

Typical sampling และ Mirostat

Typical sampling (Meister et al., 2023) เลือก token ที่มีความน่าจะเป็นใกล้เคียงกับ "entropy ที่คาดหวัง" ของ context Mirostat (v2) ปรับพารามิเตอร์การตัดแบบไดนามิกเพื่อให้ perplexity เป้าหมายคงที่ ซึ่งมีประโยชน์สำหรับข้อความยาวที่ความเสถียรของสไตล์มีความสำคัญ

ตัวอย่างการตั้งค่าเพื่อประกอบความเข้าใจ

ด้านล่างนี้คือ การกำหนดค่าโดยประมาณ สำหรับงานประเภทต่าง ๆ ค่าเหล่านี้ไม่ใช่คำแนะนำสำหรับทั่วไป — พารามิเตอร์ที่เหมาะสมขึ้นอยู่กับโมเดล งาน และ inference stack เฉพาะ

งาน	อุณหภูมิ	การรวมกันที่เป็นไปได้	ตรรกะ
Factual Q&A, การสรุปความ	0.0–0.3	T + top_p=0.9	ลดความผันแปรแบบสุ่ม
การสร้างโค้ด, คณิตศาสตร์	0.1–0.4	T + repetition_penalty	ความเสถียร + หลีกเลี่ยงการวนซ้ำ
การสนทนา / chatbot	0.6–0.85	T + top_p=0.92 หรือ min_p=0.1	สมดุลความเป็นธรรมชาติและความสอดคล้อง
งานสร้างสรรค์ (เรื่องสั้น, การตลาด)	0.75–1.1	T + min_p=0.07–0.1	ความหลากหลายพร้อมการกรอง tail
Long-form / agent	0.5–0.8	Mirostat หรือ T + frequency_penalty	ควบคุมความยาวและความสอดคล้อง

คำแนะนำทั่วไป: ไม่ควรเปลี่ยน temperature และ top_p พร้อมกันมาก ๆ โดยทั่วไปจะสะดวกกว่าถ้ากำหนดพารามิเตอร์ truncation อย่างใดอย่างหนึ่งให้คงที่ และควบคุมความสร้างสรรค์ด้วยอุณหภูมิ ซึ่งทำให้พฤติกรรมของโมเดลคาดเดาได้มากขึ้น

ลักษณะเฉพาะของโมเดล aligned สมัยใหม่: ในโมเดลที่ผ่านการ align อย่างเข้มข้น (ผ่าน RLHF / Constitutional AI / RLAIF) ผลกระทบของอุณหภูมิสูงจะอ่อนแอลงเมื่อเทียบกับโมเดลฐาน — โมเดลสร้างข้อความที่ไม่สอดคล้องน้อยลงแม้ที่ $T=1.2$ ค่าที่เหมาะสมเฉพาะอาจเปลี่ยนแปลงไปพร้อมกับการออกโมเดลรุ่นใหม่; คำแนะนำข้างต้นเป็นข้อมูลล่าสุด ณ ปี 2025–2026

เอกสารอ้างอิง

• Holtzman, A. et al. (2020). The Curious Case of Neural Text Degeneration. arXiv:1904.09751.
• Caccia, M. et al. (2018). Language GANs Falling Short. arXiv:1811.02549.
• Fan, A. et al. (2018). Hierarchical Neural Story Generation. arXiv:1805.04833.
• Meister, C. et al. (2023). Locally Typical Sampling. arXiv:2202.00666.
• Hewitt, J.; Manning, C.; Liang, P. (2022). Truncation Sampling as Language Model Desmoothing. arXiv:2210.15191.
• Su, Y.; Collier, N. (2022). Contrastive Search Is What You Need for Neural Text Generation. arXiv:2210.14140.
• O'Brien, S.; Lewis, M. (2023). Contrastive Decoding Improves Reasoning in Large Language Models. arXiv:2309.09117.
• Finlayson, M. et al. (2023). Closing the Curious Case of Neural Text Degeneration. arXiv:2310.01693.
• Shi, C. et al. (2024). A Thorough Examination of Decoding Methods in the Era of Large Language Models. arXiv:2402.06925.
• Ravfogel, S. et al. (2023). Conformal Nucleus Sampling. arXiv:2305.02633.
• Sen, J. et al. (2025). Advancing Decoding Strategies: Enhancements in Locally Typical Sampling for LLMs. arXiv:2506.05387.
• Basu, S. et al. (2021). Mirostat: A Perplexity-Controlled Neural Text Decoding Algorithm. arXiv:2007.14966.
• Nguyen, M. N. et al. (2025). Turning Up the Heat: Min-p Sampling for Diverse and High-Quality Text Generation. arXiv:2407.01082.
• Renze, M.; Guven, E. (2024). The Effect of Sampling Temperature on Problem Solving in Large Language Models. arXiv:2402.05201.
• Zhang, S. et al. (2024). EDT: Improving Large Language Models' Generation by Entropy-based Dynamic Temperature Sampling. arXiv:2403.14541.
• Li, L. et al. (2025). Exploring the Impact of Temperature on Large Language Models: Hot or Cold?. arXiv:2506.07295.

ดูเพิ่มเติม

• โมเดลภาษาขนาดใหญ่