Context window — หน้าต่างบริบทใน LLM

From Systems analysis Wiki
Jump to navigation Jump to search

หน้าต่างบริบท ในโมเดลภาษาขนาดใหญ่ (LLM) คือปริมาณข้อมูลข้อความสูงสุด (วัดในหน่วย token) ที่โมเดลสามารถนำมาพิจารณาในการสร้างคำตอบ[1] กล่าวอีกนัยหนึ่ง นี่คือ "หน่วยความจำในการทำงาน" ของโมเดล ซึ่งกำหนดว่าโมเดลสามารถเก็บข้อความ (ทั้งคำถามต้นฉบับของผู้ใช้และประโยคที่โมเดลสร้างขึ้นก่อนหน้า) ไว้ในบริบทได้พร้อมกันมากเพียงใด[1] ขนาดของหน้าต่างบริบทวัดเป็น token ซึ่งเป็นหน่วยข้อความพื้นฐาน (คำ ส่วนหนึ่งของคำ หรือตัวอักษร) ที่ใช้แบ่งข้อมูลนำเข้าสำหรับการประมวลผลโดยโมเดล[1] ความยาวของหน้าต่างบริบทส่งผลโดยตรงต่อความสอดคล้องและความแม่นยำของคำตอบที่สร้างขึ้น บริบทขนาดใหญ่ช่วยให้โมเดลพิจารณาข้อมูลก่อนหน้าได้ดียิ่งขึ้น รักษารายละเอียดในบทสนทนาที่ยาวนาน และไม่สูญเสียความหมายเมื่อทำงานกับเอกสารขนาดใหญ่[1]

วิวัฒนาการของขนาดหน้าต่างบริบท

โมเดลภาษาแบบ transformer รุ่นแรกมีหน้าต่างบริบทที่ค่อนข้างเล็ก ตัวอย่างเช่น ในปี 2018-2019 ความยาวบริบทสูงสุดอยู่ที่ประมาณ 512-1024 token[2] โมเดล GPT-3 (2020) ประมวลผลได้ถึง 2048 token ต่อครั้ง[2] เมื่อเริ่มต้นใช้งาน ChatGPT (2022) ขีดจำกัดบริบทอยู่ที่ประมาณ 4000 token (ราว 3000 คำ) ซึ่งจำกัดความยาวของการสนทนา เมื่อเกิน ~3000 คำ แชทบอตจะเริ่ม "สับสน" และเกิดการ hallucinate นอกหัวข้อ[1]

โมเดล flagship ในยุคปัจจุบันได้เพิ่มขีดจำกัดนี้อย่างมีนัยสำคัญ GPT-4 พร้อมใช้งานในเวอร์ชันที่มีหน้าต่าง 8192 และ 32,768 token[1] ในขณะที่โมเดล Claude จาก Anthropic ได้รับหน้าต่าง 100,000 token ในปี 2023 (ประมาณ 75,000 คำ หรือหลายร้อยหน้าของข้อความ)[3] ภายในปี 2024 มีโมเดลที่มีบริบทประมาณ 128,000 token ปรากฏขึ้น (เช่น LLaMA 3.1 จาก Meta)[2] และแม้กระทั่งถึง 1 ล้าน token (Google Gemini 1.5 Pro)[2] ในปี 2025 ได้มีการประกาศ LLAMA 4 Scout พร้อมหน้าต่างบริบทที่ทำลายสถิติสูงถึง 10 ล้าน token[4] ซึ่งเทียบเท่ากับข้อความหลายหมื่นหน้า[5] อย่างไรก็ตาม ค่าที่สุดขีดเหล่านี้ส่วนใหญ่เป็นเชิงทฤษฎี เนื่องจากข้อจำกัดด้านหน่วยความจำและข้อมูลสำหรับการฝึกไม่อนุญาตให้โมเดลใช้บริบท 10 ล้าน token ได้ครบถ้วนในทางปฏิบัติ[5] อย่างไรก็ดี การแข่งขันเพื่อขยายหน้าต่างบริบทได้กลายเป็นขั้นตอนใหม่ในการพัฒนา LLM ซึ่งมีความสำคัญเทียบเท่ากับการเพิ่มจำนวนพารามิเตอร์ของโมเดล[1]

ด้านล่างนี้คือตัวอย่างความยาวบริบทสูงสุดของโมเดลต่าง ๆ:

  • GPT-3 – สูงถึง ~2048 token[2]
  • GPT-4 – 8192 token (เวอร์ชันมาตรฐาน) และสูงถึง 32,768 ในเวอร์ชันขยาย[1]
  • Anthropic Claude – สูงถึง 100,000 token[3]
  • LLaMA 3.1 – สูงถึง 128,000 token[2]
  • Google Gemini 1.5 Pro – สูงถึง 1,000,000 token[2]
  • Meta LLAMA 4 Scout – ประกาศสูงถึง 10,000,000 token[4]

การเติบโตของหน้าต่างบริบทขยายความสามารถของโมเดลอย่างเป็นรูปธรรม[3] หาก 32,000 token เทียบเท่ากับประมาณ 50 หน้าของข้อความ 100,000 token ก็ประมาณ 75,000 คำ[3] โมเดลสามารถประมวลผลปริมาณดังกล่าวได้ในเวลาเพียงไม่กี่วินาที เช่น วิเคราะห์นิยายทั้งเล่มหรือรายงานทางเทคนิค และระบุรายละเอียดที่ต้องการ[3] ดังนั้น โมเดลที่มีบริบทยาวสามารถจดจำหนังสือทั้งเล่ม ชุดเอกสารขนาดใหญ่ หรือบทสนทนายาว ซึ่งเปิดรูปแบบการใช้งานใหม่ ตั้งแต่การสรุปโดยละเอียดและการวิเคราะห์คำถาม-คำตอบข้ามเอกสาร ไปจนถึงการทำงานกับส่วนขนาดใหญ่ของซอร์สโค้ด

ข้อจำกัดและปัญหาของบริบทระยะยาว

การขยายหน้าต่างบริบทนำมาซึ่งความท้าทายทางเทคนิคและเชิงปฏิบัติที่สำคัญ[1] ความท้าทายหลักคือ การเพิ่มขึ้นแบบ combinatorial ของความซับซ้อนในการคำนวณ[1] ใน transformer กลไก self-attention มีความซับซ้อนแบบ quadratic ตามความยาวของลำดับ เมื่อความยาวบริบทเพิ่มขึ้นสองเท่า หน่วยความจำและการคำนวณที่ต้องการจะเพิ่มขึ้นประมาณสี่เท่า[1] ตัวอย่างเช่น การเปลี่ยนจากบริบท 1024 token เป็น 4096 token จะเพิ่มการใช้ทรัพยากรในทางทฤษฎีประมาณ 16 เท่า[1] สิ่งนี้กำหนดข้อจำกัดทั้งในขั้นตอนการฝึก (ซึ่งลำดับที่ยาวมากเป็นเรื่องยากเนื่องจากข้อจำกัดด้านหน่วยความจำ GPU และเวลาในการฝึก) และในขั้นตอนการใช้งานโมเดล ซึ่งคำขอที่ยาวจะทำให้การสร้างคำตอบช้าลงอย่างมากและมีราคาแพงขึ้นเมื่อใช้ API เชิงพาณิชย์[2] โดยทั่วไปจะมีการเรียกเก็บเงินสำหรับการประมวลผล token ขาเข้า ดังนั้นข้อความที่ยาวที่ส่งให้โมเดลจะเพิ่มต้นทุนของคำตอบตามสัดส่วน[2]

ข้อมูลล้นเกิน เป็นอีกปัจจัยสำคัญ[2] แม้ว่าหน้าต่างขนาดใหญ่จะช่วยให้ป้อนข้อมูลให้โมเดลได้มากขึ้น แต่รายละเอียดที่มากเกินไปอาจทำให้โมเดล ไม่สามารถระบุสิ่งสำคัญท่ามกลาง "สัญญาณรบกวน" ได้[2] การวิจัยแสดงให้เห็นว่า LLM ในปัจจุบันรับรู้ข้อมูลที่เกี่ยวข้องอย่างไม่สม่ำเสมอ โดยมีแนวโน้มที่จะให้ความสนใจกับข้อเท็จจริงที่วางไว้ที่ต้นหรือปลายของข้อมูลนำเข้าบริบทยาว (เอฟเฟกต์ primacy และ recency) และดึงความรู้จากส่วนกลางของเอกสารขนาดใหญ่ได้แย่กว่ามาก[6] การยัด prompt ด้วยรายละเอียดที่ไม่จำเป็นอาจ ลดความแม่นยำของคำตอบ[6] ดังนั้น หลังจากขีดจำกัดหนึ่ง การเพิ่มปริมาณบริบทอาจส่งผลเสีย[2] ผลทางปฏิบัติคือคำแนะนำให้รวมเฉพาะข้อมูลที่จำเป็นจริง ๆ ในคำขอที่ยาว และจัดโครงสร้างบริบทเพื่อให้ข้อมูลสำคัญอยู่ใกล้จุดเริ่มต้น (หรือจุดสิ้นสุด) ของข้อความ[1]

นอกจากนี้ ในทางปฏิบัติพบว่ามีความแตกต่างระหว่างความยาวหน้าต่างตามชื่อและสิ่งที่โมเดล ใช้งานได้จริง[7] โมเดลจำนวนมากไม่สามารถทำงานได้ดีเท่ากันกับความยาวที่มีอยู่ทั้งหมด โดยความลึกของบริบทที่มีประสิทธิภาพจริงน้อยกว่าค่าสูงสุดอย่างมีนัยสำคัญ[7] ตัวอย่างเช่น ใน LLaMA 3.1 ที่ฝึกด้วยบริบท 128k ในการทดสอบพบว่าข้อมูลที่อยู่เกิน ~64k token จากจุดเริ่มต้นแทบไม่มีผลต่อคำตอบ[7] โดยรวมแล้วสำหรับ LLM แบบเปิดส่วนใหญ่พบว่าหน่วยความจำที่ใช้งานได้จริงน้อยกว่าครึ่งหนึ่งของความยาวบริบทที่กำหนด[7] นักวิจัยเชื่อมโยงสิ่งนี้กับลักษณะของการฝึก แม้ว่าโมเดลจะได้รับการฝึกอย่างเป็นทางการบนลำดับที่ยาว แต่ตำแหน่งที่ไกลมากปรากฏในข้อมูลน้อยกว่าตำแหน่งแรกมาก ทำให้โมเดล ฝึกไม่เพียงพอที่ปลายหน้าต่าง[7] ในคลังข้อมูลทั่วไป ความถี่ของการปรากฏของลำดับที่ยาวมากลดลงแบบ exponential[7] การกระจายตำแหน่งที่ "เอนเอียงไปทางซ้าย" นี้ทำให้โมเดลเรียนรู้บริบทที่ใกล้ได้ดีกว่าบริบทที่ไกลอย่างมีนัยสำคัญ[7] วิธีแก้ไขอาจรวมถึงการคัดเลือกและกำกับข้อมูลฝึกที่ละเอียดขึ้น รวมถึงวิธีการเฉพาะที่ชดเชยตำแหน่งที่ฝึกไม่เพียงพอ[7] โดยรวมแล้วการเอาชนะข้อจำกัดนี้เป็นพื้นที่วิจัยที่กำลังดำเนินอยู่[7]

วิธีการขยายหน้าต่างบริบท

การขยายหน้าต่างบริบทของ LLM ต้องอาศัยการผสมผสานระหว่างการปรับปรุงสถาปัตยกรรมและอัลกอริทึม แนวทางหลักที่ใช้ในงานวิจัยสมัยใหม่ได้แก่:

  • การฝึกบนลำดับยาว[2] แนวทางที่ชัดเจนคือจัดหาตัวอย่างการฝึกให้โมเดลซึ่งเทียบได้กับความยาวบริบทที่ต้องการ ใช้ curriculum learning ตามความยาว โดยค่อย ๆ เพิ่มขนาดข้อความในระหว่างการฝึก[2] นอกจากนี้ยังใช้เทคนิคต่าง ๆ เช่น gradient accumulation และการประมวลผลข้อมูลเบื้องต้นแบบพิเศษ[2]
  • การปรับปรุงกลไก attention[2] เนื่องจาก self-attention มาตรฐานมีต้นทุนแบบ quadratic จึงมีการวิจัยทางเลือกอย่างแข็งขัน ได้แก่ sparse attention, sliding window, การแบ่งบริบทแบบหลายมิติ และอื่น ๆ[2] ตัวอย่างเช่น Ring Attention เป็นวิธีปรับปรุง attention ที่เสนอโดย IBM ซึ่งลดภาระการคำนวณสำหรับลำดับยาว[1] ในโมเดล IBM Granite การเพิ่ม ring attention ช่วยให้ขยายบริบทได้อย่างมีนัยสำคัญ[1]
  • การปรับปรุง positional encoding[2] ส่วนสำคัญที่สุดของ transformer คือวิธีการ encode ตำแหน่งของ token[2] encoder ตำแหน่งแบบ absolute คลาสสิกทำ extrapolation นอกเหนือความยาวที่ฝึกไว้ได้ไม่ดี[2] ดังนั้น สำหรับบริบทยาวจึงใช้ตำแหน่งแบบ relative และวิธีการอื่น ๆ[2] ตัวอย่างเช่น โมเดล Granite ในเวอร์ชัน 128k บริบทได้เปลี่ยนจากตำแหน่ง absolute เป็นการ encode token ตาม ตำแหน่ง relative[1] มีการใช้ rotary positional encoding (RoPE) อย่างแพร่หลาย[2] ซึ่งรักษาตำแหน่งสัมพัทธ์ของ token ที่อยู่ห่างออกไปได้ดีกว่าและอนุญาตให้ scale บริบท[2] อีกแนวทางหนึ่งคือ Attention with Linear Biases (ALiBi) ซึ่งนำ bias ที่เพิ่มขึ้นเชิงเส้นสำหรับระยะทางที่ไกลมาเข้าสู่กลไก attention[2] การรวมเทคนิคเหล่านี้ เช่น การ scale ความถี่พื้นฐานของ RoPE (ตามที่ใช้ใน LLaMA 3) ถูกนำมาใช้ในปัจจุบันเพื่อให้โมเดลรองรับหน้าต่าง 100k+ token[7]
  • หน่วยความจำและการบีบอัดบริบท[1] แนวทางทางเลือกคือไม่เพิ่มความยาวหน้าต่างโดยตรง แต่ แทนข้อมูลนำเข้าที่ยาวอย่างกระชับ[1] ตัวอย่างเช่น เทคโนโลยีหนึ่งของ IBM คือโมเดลสร้างการแทนแบบบีบอัด (สรุป) ของข้อความยาวโดยใช้ LLM อีกตัว[5] อีกแนวทางหนึ่งคือการเชื่อมต่อ หน่วยความจำระยะยาว หรือฐานความรู้ภายนอก โดยโมเดลเก็บข้อเท็จจริงสำคัญนอกหน้าต่างบริบทและโหลดเมื่อจำเป็น[5] ตัวเลือกหลังได้รับการพัฒนาในรูปแบบของวิธีการที่เรียกว่า retrieval-augmented generation (RAG)[5]

สิ่งสำคัญที่ต้องสังเกตคือแต่ละกลยุทธ์ที่กล่าวถึงมีราคาของมันเอง[2] การฝึกบนบริบทยาวต้องการทรัพยากรการคำนวณมหาศาลและข้อมูลที่คัดเลือกอย่างรอบคอบ[2] กลไก attention และ positional encoding ใหม่ทำให้สถาปัตยกรรมโมเดลซับซ้อนขึ้นและบางครั้งลดคุณภาพบนข้อความสั้น[2] ดังนั้นวิศวกรจึงต้องสร้างสมดุลระหว่างขนาดหน้าต่าง ความเสถียรของการฝึก และประสิทธิภาพสุดท้ายของโมเดลอย่างรอบคอบ[2]

บริบทขนาดใหญ่ vs การดึงข้อมูล (RAG)

การเติบโตของบริบทสูงสุดใน LLM ไปสู่หลายแสน token และมากกว่านั้นได้จุดประกายการถกเถียงว่ายังจำเป็นต้องมีฐานความรู้ภายนอกและอัลกอริทึมการค้นหาอยู่หรือไม่เมื่อโมเดลมีความสามารถเช่นนี้[1] หากข้อมูลที่เกี่ยวข้องทั้งหมดสามารถใส่ลงในหน้าต่างบริบทโดยตรงได้ โมเดลก็สามารถตอบโดยไม่ต้องเข้าถึงแหล่งข้อมูลภายนอกในทางทฤษฎี[1] นักวิจัยบางคนเสนอว่าด้วยการขยายหน้าต่าง วิธีการอย่าง retrieval-augmented generation (RAG) ซึ่งโมเดลได้รับข้อความที่ดึงมาจากฐานข้อมูลล่วงหน้า อาจสูญเสียความเกี่ยวข้อง[1] สิ่งที่สนับสนุนสิ่งนี้รวมถึงการสูญเสียข้อมูลในขั้นตอนการดึงข้อมูล การค้นหาส่งคืนเพียงเอกสารอันดับต้น ๆ ในขณะที่ "prompt stuffing" (การรวมข้อมูลโดยตรงในคำขอ) ช่วยให้ป้อนข้อมูลบริบททั้งหมดให้โมเดลได้ครบถ้วน[1] นักวิจัยของ IBM Pin-Yu Chen ตั้งข้อสังเกตว่าไม่มีใครต้องการยุ่งกับการตั้งค่า RAG หากสามารถโหลดหนังสือและเอกสารที่ต้องการทั้งหมดลงในโมเดลได้โดยตรง[1]

อย่างไรก็ตาม มุมมองตรงข้ามคือแม้แต่หน้าต่างขนาดใหญ่มาก ก็ไม่ได้ขจัดความต้องการ RAG[1] ตัวแทนของ IBM และผู้เชี่ยวชาญคนอื่น ๆ เน้นย้ำว่า ความทันสมัยของข้อมูลและการควบคุม ยังคงเป็นปัญหาสำคัญ[5] โมเดลที่มีบริบทขนาดใหญ่ยังคงไม่รู้ข้อมูลที่ไม่ได้อยู่ในข้อมูลการฝึก เช่น ข่าวในวันนี้[5] กลไก retriever จำเป็นสำหรับการรวมข้อมูลใหม่อย่างรวดเร็วตามคำขอ[5] นอกจากนี้ ในแอปพลิเคชันระดับองค์กร RAG ช่วยให้ดึงข้อเท็จจริงจากที่เก็บข้อมูลที่มีการป้องกันได้อย่างเลือกสรร โดยเคารพสิทธิ์การเข้าถึงและไม่เปิดเผยข้อมูลลับที่ไม่จำเป็น[5] สุดท้ายการพิจารณาทางเศรษฐกิจก็มีความสำคัญเช่นกัน การประมวลผล token ล้าน ๆ ตัว "โดยไม่จำเป็น" เป็นเรื่องแพง และมักสมเหตุสมผลกว่าที่จะค้นหาตอนแรกเพียงไม่กี่ส่วนที่เกี่ยวข้องจริง ๆ (ลดบริบท) มากกว่าให้โมเดลอ่านข้อมูลนำเข้าหลายพันหน้าทุกครั้ง[1] ด้วยเหตุผลเหล่านี้ RAG ยังคงเป็นส่วนประกอบสำคัญของแอปพลิเคชัน AI[5] และแนะนำให้ใช้หน้าต่างบริบทขนาดใหญ่อย่างรอบคอบ[5] น่าจะเป็น แนวทางแบบ hybrid ซึ่งผสมผสานบริบทที่ขยายแล้ว (สำหรับเก็บข้อมูลที่ใช้บ่อยในรูปแบบแคช หรือ Cache-Augmented Generation) และการดึงข้อมูลความรู้ใหม่จากแหล่งภายนอกอย่างเลือกสรร ที่จะกลายเป็นสถาปัตยกรรมที่เหมาะสมที่สุด[8][8]

การประยุกต์ใช้และแนวโน้ม

การเพิ่มขึ้นของบริบทที่มีอยู่ขยายขอบเขตของงานที่โมเดลภาษาสามารถแก้ไขได้อย่างมีนัยสำคัญ การสรุปและการวิเคราะห์เอกสารยาว เป็นหนึ่งในการประยุกต์ใช้โดยตรง[3] โมเดลที่มีหน้าต่าง 100k token สามารถอ่านรายงานขนาดใหญ่ หนังสือ หรือเอกสารทางเทคนิค และสร้างสรุปหรือตอบคำถามเกี่ยวกับเนื้อหาได้ในคำขอเดียว[3] สิ่งนี้มีการประยุกต์ใช้ในกฎหมาย (การวิเคราะห์และการสรุปสัญญา) วิทยาศาสตร์ (การทบทวนวรรณกรรมอัตโนมัติ) และการวิเคราะห์ธุรกิจ ตัวอย่างเช่น Claude ประมวลผลนิยาย "The Great Gatsby" ทั้งเล่ม (~72,000 token) ได้สำเร็จ และสามารถระบุการแก้ไขจุดเล็กในข้อความได้ในเวลาไม่กี่วินาที[3]

การรองรับบทสนทนาที่ยาวนาน[2] สำหรับแชทบอต บริบทขนาดใหญ่หมายความว่าสามารถจดจำบรรทัดโต้ตอบได้หลายสิบถึงหลายร้อยบรรทัด[2] หน้าต่างที่ขยายยังช่วยให้รวมข้อมูลอ้างอิงขนาดใหญ่ในการสนทนา[2]

การเขียนโปรแกรมและการทำงานกับโค้ด[8] ในงานที่เกี่ยวข้องกับการวิเคราะห์ซอร์สโค้ด บริบทยาวพิสูจน์ว่ามีคุณค่าเป็นพิเศษ[8] โค้ดมักกระจายอยู่ในหลายไฟล์ เพื่อให้คำตอบที่ถูกต้อง โมเดลต้องสามารถ "มองเห็น" ส่วนที่ใหญ่ที่สุดเท่าที่จะเป็นไปได้ของฐานโค้ด[8] การวิจัยของ IBM แสดงให้เห็นว่าการขยายบริบทช่วยปรับปรุงคุณภาพของโมเดลในงาน code generation อย่างเห็นได้ชัด[1] โมเดล Granite ที่มีหน้าต่าง 128k token สามารถรับเอกสาร library ปริมาณมากในคำขอ[1]

แอปพลิเคชัน multimodal[3] โมเดลล่าสุด (เช่น LLaMA 4 และ Gemini ที่กล่าวถึงข้างต้น) เป็น multimodal และสามารถรับข้อมูลนำเข้าไม่เพียงแค่ข้อความ แต่ยังรวมถึงประเภทข้อมูลอื่น ๆ (เสียง รูปภาพ วิดีโอ)[3] บริบทขนาดใหญ่ช่วยในการวิเคราะห์การบันทึกเสียงที่ยาว (การถอดความการสนทนา) หรือวิดีโอ (ลำดับเฟรมพร้อมคำอธิบาย) ได้อย่างครบถ้วน[2] รายงานว่าโมเดล Gemini 1.5 ที่มีหน้าต่าง 1 ล้าน token สามารถรักษาบริบทได้ถึง เสียง 1 ชั่วโมงหรือวิดีโอ 3 ชั่วโมง โดยไม่สูญเสียรายละเอียดสำคัญ[2] สิ่งนี้เปิดมุมมองสำหรับการถอดความและสรุปอัตโนมัติของการประชุมหลายชั่วโมง ภาพยนตร์ และอื่น ๆ[2]

แม้จะมีความสำเร็จที่น่าประทับใจ ผู้เชี่ยวชาญเน้นย้ำว่าบริบทขนาดใหญ่ ไม่ใช่ยาวิเศษ[8] แต่เป็นเครื่องมือที่ต้องใช้อย่างชาญฉลาด[8] มันเพิ่มความต้องการด้านโครงสร้างพื้นฐานอย่างมาก (หน่วยความจำ ความเร็ว) และเพิ่มต้นทุนในการปรับใช้โมเดล[5] ดังนั้นเมื่อพัฒนาระบบที่ใช้ LLM จึงแนะนำให้ประเมินอย่างรอบคอบว่าต้องการบริบทปริมาณเท่าใดสำหรับงานนั้น ๆ และรวมแนวทางต่าง ๆ เข้าด้วยกัน[5] อย่างไรก็ดี แนวโน้มชัดเจน โมเดลในอนาคตจะมุ่งหมายรวมบริบทที่ยาวขึ้นเรื่อย ๆ เข้ากับการใช้งานที่มีประสิทธิภาพ[2] การแก้ปัญหาในปัจจุบัน (การ scale attention การฝึกบนลำดับยาว การขจัด "การลืมตรงกลาง") จะช่วยให้ LLM รุ่นใหม่ดำเนินการกับข้อมูลปริมาณมากยิ่งขึ้น ขณะที่ยังคงความแม่นยำและความสอดคล้อง[7] สิ่งนี้จะขยายขอบเขตการประยุกต์ใช้ AI อย่างมีนัยสำคัญ ตั้งแต่ผู้ช่วยที่สมบูรณ์แบบไปจนถึงระบบวิเคราะห์ที่ซับซ้อน[7]

ลิงก์อ้างอิง

  • Why larger LLM context windows are all the rage - IBM Research
  • Context Length in LLMs: What Is It and Why It Is Important - DataNorth
  • Understanding the Impact of Increasing LLM Context Windows - Meibel
  • Introducing 100K Context Windows - Anthropic
  • Lost in the Middle: How Language Models Use Long Contexts (arXiv)
  • Why Does the Effective Context Length of LLMs Fall Short? (arXiv)
  • RAG in the Era of LLMs with 10 Million Token Context Windows - F5 Labs

หมายเหตุ

[1] [2] [8] [3] [4] [5] [6] [7] </references>



  1. ↑ 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 1.11 1.12 1.13 1.14 1.15 1.16 1.17 1.18 1.19 1.20 1.21 1.22 1.23 1.24 1.25 1.26 1.27 «Why larger LLM context windows are all the rage». IBM Research Blog. [1]
  2. ↑ 2.00 2.01 2.02 2.03 2.04 2.05 2.06 2.07 2.08 2.09 2.10 2.11 2.12 2.13 2.14 2.15 2.16 2.17 2.18 2.19 2.20 2.21 2.22 2.23 2.24 2.25 2.26 2.27 2.28 2.29 2.30 2.31 2.32 2.33 2.34 2.35 «Context Length in LLMs: What Is It and Why It Is Important». DataNorth Blog. [2]
  3. ↑ 3.00 3.01 3.02 3.03 3.04 3.05 3.06 3.07 3.08 3.09 3.10 «Introducing 100K Context Windows». Anthropic Blog. [3]
  4. ↑ 4.0 4.1 4.2 «Meta's Llama 4 is now available on Workers AI». Cloudflare Blog. [4]
  5. ↑ 5.00 5.01 5.02 5.03 5.04 5.05 5.06 5.07 5.08 5.09 5.10 5.11 5.12 5.13 «RAG in the Era of LLMs with 10 Million Token Context Windows». F5 Labs Blog. [5]
  6. ↑ 6.0 6.1 6.2 Liu, Shi et al. (2023). «Lost in the Middle: How Language Models Use Long Contexts». arXiv. [6]
  7. ↑ 7.00 7.01 7.02 7.03 7.04 7.05 7.06 7.07 7.08 7.09 7.10 7.11 7.12 Yang, Qingyu et al. (2024). «Why Does the Effective Context Length of LLMs Fall Short?». arXiv. [7]
  8. ↑ 8.0 8.1 8.2 8.3 8.4 8.5 8.6 8.7 «Understanding the Impact of Increasing LLM Context Windows». Meibel Blog. [8]
Retrieved from "https://systems-analysis.info/int/index.php?title=Context_window_—_หน้าต่างบริบทใน_LLM&oldid=1215"