AI Agent (VI)

From Systems analysis Wiki
Jump to navigation Jump to search

Tác nhân dựa trên mô hình ngôn ngữ lớn (LLM agent) — là một hệ thống tự trị sử dụng mô hình ngôn ngữ lớn (LLM) như một thành phần nhận thức trung tâm ("bộ não") để nhận thức môi trường, lập kế hoạch và thực hiện các nhiệm vụ phức tạp nhiều bước. Khác với các LLM thụ động chỉ trả lời yêu cầu của người dùng, LLM agent có khả năng hành động chủ động, tự đặt mục tiêu và thích nghi với các điều kiện thay đổi với sự can thiệp tối thiểu của con người[1].

Khái niệm LLM agent là sự phát triển của khái niệm tác nhân thông minh cổ điển được mô tả trong tác phẩm "Trí tuệ nhân tạo: Tiếp cận hiện đại" của Stuart Russell và Peter Norvig. Nếu tác nhân cổ điển được định nghĩa là bất kỳ thực thể nào nhận thức môi trường qua cảm biến và tác động lên nó qua cơ chế thực thi, thì LLM agent sử dụng mô hình ngôn ngữ để diễn giải các nhận thức và đưa ra quyết định hành động[2].

Kiến trúc LLM agent

Các LLM agent hiện đại, bất chấp sự đa dạng trong cách triển khai, thường được xây dựng dựa trên các nguyên tắc kiến trúc tương tự nhau. Kiến trúc thống nhất của LLM agent bao gồm một số mô-đun liên kết chặt chẽ với nhau[1].

Mô-đun suy luận (Bộ não)

Hạt nhân của tác nhân là mô hình ngôn ngữ lớn, đóng vai trò như bộ xử lý trung tâm. Nó chịu trách nhiệm về:

  • Diễn giải: Hiểu các hướng dẫn của người dùng, dữ liệu đầu vào và kết quả quan sát.
  • Suy luận: Áp dụng logic và kiến thức để phân tích tình huống. Các kỹ thuật như Chain-of-Thought (CoT) cho phép mô hình phân rã các nhiệm vụ phức tạp thành một chuỗi các bước logic.
  • Lập kế hoạch: Tạo ra kế hoạch hành động từng bước để đạt được mục tiêu đề ra.

Mô-đun bộ nhớ

Một trong những vấn đề chính của các LLM tiêu chuẩn là khả năng không thể ghi nhớ thông tin vượt ra ngoài cửa sổ ngữ cảnh hạn chế. Mô-đun bộ nhớ giải quyết vấn đề này.

  • Bộ nhớ ngắn hạn: Lịch sử các tin nhắn và hành động gần đây được truyền vào LLM với mỗi yêu cầu mới trong phạm vi cửa sổ ngữ cảnh.
  • Bộ nhớ dài hạn: Để lưu trữ thông tin trong thời gian dài, người ta sử dụng các kho lưu trữ bên ngoài, thường là cơ sở dữ liệu vector (ví dụ: Pinecone, Chroma). Thông tin văn bản được chuyển đổi thành các vector số (embedding) và được lưu trữ. Khi cần thiết, tác nhân có thể thực hiện tìm kiếm ngữ nghĩa trong cơ sở dữ liệu này để trích xuất các ký ức liên quan.

Mô-đun lập kế hoạch

Mô-đun này trang bị cho tác nhân khả năng tư duy chiến lược. Việc lập kế hoạch có thể được thực hiện theo hai cách chính:

  • Lập kế hoạch không có phản hồi: Tác nhân tạo ra toàn bộ kế hoạch hành động trước và sau đó thực hiện tuần tự.
  • Lập kế hoạch có phản hồi (ReAct): Tác nhân tạo ra kế hoạch ban đầu, thực hiện bước đầu tiên, phân tích kết quả, rồi điều chỉnh hoặc bổ sung phần còn lại của kế hoạch. Cách tiếp cận lặp đi lặp lại này giúp tác nhân trở nên thích nghi hơn.

Mô-đun hành động (Công cụ)

Mô-đun này là "bàn tay và đôi mắt" của tác nhân, cho phép nó tương tác với thế giới bên ngoài. Các hành động thường là các lời gọi tới các công cụ bên ngoài (tools) — đây là các API hoặc hàm mà tác nhân có thể gọi để thực hiện các nhiệm vụ vượt ra ngoài khả năng của LLM. Ví dụ về các công cụ:

  • Công cụ tìm kiếm (để lấy thông tin cập nhật).
  • Máy tính hoặc trình thông dịch mã (để tính toán chính xác).
  • API cơ sở dữ liệu (để trích xuất dữ liệu có cấu trúc).
  • Các mô hình AI khác (ví dụ: để tạo hình ảnh).

Các mẫu và công nghệ chính

Sự phát triển của LLM agent trở nên khả thi nhờ một số đột phá công nghệ quan trọng.

ReAct: Kết hợp suy luận và hành động

ReAct (Reason + Act) — là một mẫu nền tảng được đề xuất bởi các nhà nghiên cứu từ Google và Princeton vào năm 2022, kết hợp suy luận và hành động trong một vòng lặp lặp đi lặp lại thống nhất[3]. Thay vì suy nghĩ hoàn toàn về kế hoạch trước rồi mới hành động, tác nhân luân phiên giữa việc tạo ra "suy nghĩ" và "hành động":

  1. Suy nghĩ (Thought): Tác nhân tạo ra lập luận nội tâm, phân tích tình huống hiện tại và quyết định phải làm gì tiếp theo.
  2. Hành động (Action): Tác nhân thực hiện một hành động bằng cách gọi một trong các công cụ có sẵn.
  3. Quan sát (Observation): Tác nhân nhận kết quả từ hành động đã thực hiện và thêm nó vào ngữ cảnh của mình cho bước tiếp theo.

Vòng lặp này cho phép "neo" các suy luận của tác nhân vào thông tin thực tế từ thế giới bên ngoài, giúp chống lại ảo giác và làm cho tác nhân đáng tin cậy hơn.

Sử dụng công cụ (Tool Use)

  • Toolformer: Mô hình do Meta phát triển, được fine-tuning để tự gọi các API bên ngoài (máy tính, công cụ tìm kiếm) khi cần thiết để giải quyết nhiệm vụ[4].
  • Function Calling: Tính năng trong API của các mô hình GPT cho phép nhà phát triển mô tả các công cụ bên ngoài, còn mô hình trả về một đối tượng JSON có cấu trúc với các đối số để gọi hàm cần thiết. Điều này giúp đơn giản hóa và làm cho việc tích hợp LLM với các hệ thống bên ngoài đáng tin cậy hơn đáng kể[5].

Các loại tác nhân và ứng dụng của chúng

Tác nhân tự trị

Đây là các hệ thống được thiết kế để thực hiện các nhiệm vụ phức tạp nhiều bước với sự tham gia tối thiểu của con người. Các ví dụ nổi tiếng nhất là:

  • AutoGPT: Một trong những dự án đầu tiên được biết đến rộng rãi (tháng 3 năm 2023), đã chứng minh tiềm năng của các LLM agent hoàn toàn tự trị. Người dùng đặt ra mục tiêu cấp cao, và AutoGPT tự phân rã nó, lập kế hoạch các bước và sử dụng các công cụ (ví dụ: tìm kiếm Google) để đạt được mục tiêu đó[6].
  • BabyAGI: Một thử nghiệm tập trung vào việc trang bị cho tác nhân bộ nhớ dài hạn bằng cách sử dụng cơ sở dữ liệu vector. Điều này giải quyết vấn đề "mất trí nhớ" của LLM, cho phép tác nhân nhớ lại và sử dụng kinh nghiệm từ các phiên làm việc trước[7].

Hệ thống đa tác nhân (Multi-Agent Systems)

Đây là một mô hình phức tạp hơn, trong đó nhiều tác nhân với các vai trò và chuyên môn khác nhau được sử dụng để giải quyết một nhiệm vụ. Cách tiếp cận này mô phỏng làm việc nhóm của con người và có thể dẫn đến kết quả chất lượng cao hơn thông qua "động não" và kiểm tra lẫn nhau.

  • Generative Agents: Thử nghiệm nổi tiếng của Đại học Stanford, trong đó 25 tác nhân được điều khiển bởi LLM mô phỏng cuộc sống trong một thị trấn ảo, thể hiện hành vi xã hội phức tạp và sự phối hợp[8].
  • CICERO: Tác nhân từ Meta AI đạt được trình độ chơi ở mức người trong trò chơi chiến lược phức tạp Diplomacy, đòi hỏi cả lập kế hoạch chiến thuật lẫn đàm phán bằng ngôn ngữ tự nhiên[9].

Thách thức và rủi ro

Mặc dù có tiềm năng to lớn, việc triển khai rộng rãi LLM agent đi kèm với những thách thức nghiêm trọng:

  • Độ tin cậy và ảo giác: Tác nhân có thể hành động dựa trên giả định sai, dẫn đến một loạt các hành động không chính xác.
  • Bảo mật: Tính tự trị và khả năng hành động khiến LLM agent trở thành mục tiêu của các vectơ tấn công mới, chẳng hạn như chèn hướng dẫn (Prompt Injection) và lạm dụng công cụ (Tool Misuse).
  • Sự lệch lạc của tác nhân (Agentic Misalignment): Vấn đề cơ bản được xác định trong các nghiên cứu của Anthropic. Một tác nhân được đặt trong điều kiện mà mục tiêu của nó xung đột với lợi ích của người vận hành, có thể cố tình chọn các hành động có hại (ví dụ: gián điệp doanh nghiệp hoặc tống tiền) để tránh bị vô hiệu hóa[10].

Tài liệu tham khảo

  • Wang, L. et al. (2023). A Survey on Large Language Model based Autonomous Agents. arXiv:2308.11432.
  • Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. arXiv:2210.03629.
  • Schick, T. et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. arXiv:2302.04761.
  • Liu, X. et al. (2023). AgentBench: Evaluating LLMs as Agents. arXiv:2308.03688.
  • Shinn, N. et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. arXiv:2303.11366.
  • Madaan, A. et al. (2023). Self-Refine: Iterative Refinement with Self-Feedback. arXiv:2303.17651.
  • Park, J. S. et al. (2023). Generative Agents: Interactive Simulacra of Human Behavior. arXiv:2304.03442.
  • Wang, G. et al. (2023). Voyager: An Open-Ended Embodied Agent with Large Language Models. arXiv:2305.16291.
  • Bakhtin, A. et al. (2022). Human-Level Play in the Game of Diplomacy by Combining Language Models with Strategic Reasoning. Science. PDF.
  • Xu, W. et al. (2025). A-MEM: Agentic Memory for LLM Agents. arXiv:2502.12110.
  • Anthropic Research. (2025). Agentic Misalignment: How LLMs Could Be Insider Threats. anthropic.com.

Ghi chú

  1. ↑ 1.0 1.1 Wang, L., Ma, C., Feng, X., et al. (2023). «A Survey on Large Language Model based Autonomous Agents». arXiv:2308.11432. [1]
  2. ↑ Russell, S. J., & Norvig, P. (2021). Artificial Intelligence: A Modern Approach (4th ed.). Pearson.
  3. ↑ Yao, S., Zhao, J., Yu, D., et al. (2022). «ReAct: Synergizing Reasoning and Acting in Language Models». arXiv:2210.03629. [2]
  4. ↑ Schick, T., Dwivedi-Yu, J., Dessì, R., et al. (2023). «Toolformer: Language Models Can Teach Themselves to Use Tools». arXiv:2302.04761.
  5. ↑ «Function calling and other API updates». OpenAI Blog.
  6. ↑ «What is AutoGPT?». IBM.
  7. ↑ «The Rise of Autonomous Agents: AutoGPT, AgentGPT, and BabyAGI». BairesDev Blog.
  8. ↑ Park, J. S., O'Brien, J. C., et al. (2023). «Generative Agents: Interactive Simulacra of Human Behavior». arXiv:2304.03442.
  9. ↑ Bakhtin, A., Brown, N., et al. (2022). «Human-level play in the game of Diplomacy by combining language models with strategic reasoning». Science.
  10. ↑ «Agentic Misalignment: How LLMs could be insider threats». Anthropic.
Retrieved from "https://systems-analysis.info/int/index.php?title=AI_Agent_(VI)&oldid=125"