Ngày 11 · Guardrails, Human-in-the-Loop và Responsible AI

Ý chínhGiảng viên đặt câu hỏi xuyên suốt ngày học, nhắc lại rằng qua 10 ngày đầu học viên đã xây được agent mạnh với khả năng truy xuất dữ liệu, gọi nhiều công cụ và giao diện đáng tin, nhưng chưa trả lời được việc gì xảy ra khi có người cố tình lừa agent hoặc agent tự ý làm sai. Giảng viên giới thiệu bốn đầu ra học viên sẽ đạt được sau ngày học: hiểu được vì sao guardrails bắt buộc, phân biệt được các kiểu tấn công và tầng phòng thủ, thiết kế được luồng human-in-the-loop, và có được báo cáo red team hoàn chỉnh.

Kỹ năngHọc viên biết mình sẽ đạt được gì sau ngày học và vì sao câu hỏi mở đầu quan trọng với chính agent mình đang xây.

Hình thứcVideo giảng viên, 3 phút, giọng dẫn dắt.

Ý chínhQua 10 ngày đầu, học viên đã xây được agent với pipeline truy xuất dữ liệu có căn cứ, nhiều agent phối hợp qua công cụ, và giao diện có lớp tin cậy — nhưng chưa trả lời được: user cố tình lừa agent thì sao, agent vô tình tiết lộ dữ liệu nhạy cảm thì sao, ai chịu trách nhiệm khi agent nói sai. Ẩn dụ mở đầu: agent không có guardrails giống một chiếc xe mạnh nhưng không có phanh — càng nhanh càng nguy hiểm. Bốn mối đe doạ phổ biến nhất với agent là prompt injection, jailbreaking, rò rỉ dữ liệu, và nội dung gây hại.

Kỹ năngHọc viên liệt kê được bốn mối đe doạ phổ biến nhất với agent và giải thích được vì sao agent mạnh mà không kiểm soát nguy hiểm hơn agent yếu.

Hình thứcVideo 6 phút, ẩn dụ xe không phanh minh hoạ mở đầu, bốn mối đe doạ hiện lần lượt.

Ý chínhBa case kinh điển: một chatbot giao hàng bị dẫn dụ chửi chính công ty mình, gây khủng hoảng truyền thông; một agent hãng hàng không hứa hoàn tiền sai chính sách và công ty phải bồi thường theo đúng lời agent; một bot bán xe bị tấn công đến mức đồng ý bán xe với giá 1 USD. Kết luận chung: không vụ nào thất bại vì model kém, tất cả thất bại vì không có guardrails kiểm soát output trước khi đến user. Hai sự cố gần đây hơn: một lỗ hổng khai thác qua một email duy nhất trong trợ lý văn phòng doanh nghiệp, và một chatbot của chính quyền thành phố khuyên doanh nghiệp làm trái luật.

Kỹ năngHọc viên giải thích được ba case thực tế và rút ra kết luận chung: sự cố đến từ thiếu guardrail chứ không phải model kém.

Hình thứcVideo 6 phút, bảng vụ việc – hậu quả hiện lần lượt, kèm mốc thống kê về số sự cố AI tăng theo năm.

Ý chínhCặp tương phản: chatbot thông thường chỉ sinh văn bản trả lời, sai thì user tự phát hiện, không có quyền hành động; agentic AI gọi API, gửi email, truy cập cơ sở dữ liệu, hành động tự động và khó hoàn tác. Rủi ro của chatbot là nói sai, nói bậy; rủi ro của agent là làm sai, gây thiệt hại thật không hoàn tác được. Đây là lý do guardrails cho agent phải chặt hơn guardrails cho chatbot, và cũng là lý do ngày học này tập trung vào agentic AI.

Kỹ năngHọc viên phân biệt được rủi ro của chatbot thông thường và agentic AI, và giải thích được vì sao hành động khó hoàn tác là điểm khác biệt cốt lõi.

Hình thứcVideo 5 phút, bảng so sánh hai cột chatbot và agentic AI.

Ý chínhHọc viên nhận một kịch bản agent cấu hình sẵn được triển khai cho 1000 người dùng thật; trước tiên tự liệt kê tất cả các kiểu tấn công và rủi ro mình nghĩ ra được, sau đó quan sát rằng danh sách case thực tế và kỹ thuật tấn công mới luôn nhiều hơn và đa dạng hơn dự đoán ban đầu. Từ đó rút ra nguyên tắc trung tâm của cả ngày học: guardrail không thể chặn tuyệt đối mọi hành vi nguy hiểm trước, vì không ai liệt kê hết được các kiểu tấn công; guardrail có giá trị ở việc giảm thiểu thiệt hại và giới hạn phạm vi khi sự cố xảy ra.

Kỹ năngHọc viên tự liệt kê được rủi ro cụ thể cho một agent trước khi triển khai, và giải thích được vì sao guardrail là giảm thiểu thiệt hại chứ không phải ngăn chặn tuyệt đối.

Hình thứcMô phỏng dự đoán rồi quan sát, 8 phút, làm việc theo nhóm 3–4 người trên kịch bản agent cấu hình sẵn, kết quả tổng hợp cùng lớp. Phương án thay thế: bài tập cá nhân điền 3 rủi ro dự đoán rồi đối chiếu đáp án.

Ý chính3 câu kiểm tra: bốn mối đe doạ phổ biến, phân biệt rủi ro chatbot và agentic AI, vì sao không thể chặn trước mọi kiểu tấn công.

Kỹ năngHọc viên tự kiểm tra ba ý chính của module.

Hình thứcQuiz 3 câu, chấm ngay.

Ý chínhBảng thuật ngữ cốt lõi: AI Safety là nghiên cứu đảm bảo AI hoạt động an toàn, không gây hại cho con người; AI Alignment là đảm bảo AI hành động theo đúng mục tiêu và giá trị con người; Red Teaming là chủ động tấn công hệ thống để tìm lỗ hổng trước khi triển khai; Guardrails là các lớp bảo vệ giới hạn hành vi AI trong phạm vi an toàn. Sáu loại rủi ro chính xếp theo mức độ nghiêm trọng: hallucination, prompt injection, PII leakage, jailbreak, bias, và over-autonomy — trong đó PII leakage và over-autonomy được xếp mức rất cao vì có thể vi phạm pháp luật và gây hậu quả thực tế không hoàn tác được.

Kỹ năngHọc viên định nghĩa được bốn thuật ngữ AI Safety cốt lõi và xếp được sáu loại rủi ro theo mức độ nghiêm trọng.

Hình thứcVideo 6 phút, bảng thuật ngữ và bảng rủi ro hiện lần lượt.

Ý chínhChuẩn OWASP Top 10 for LLM Applications liệt kê 10 hạng mục lỗ hổng phổ biến nhất khi đưa LLM vào production, dùng làm khung tham chiếu chung của ngành: từ Prompt Injection, Sensitive Information Disclosure, Supply Chain, đến hai hạng mục mới cho kỷ nguyên agentic và RAG là System Prompt Leakage và Vector and Embedding Weaknesses. Hai hạng mục mới phản ánh việc tấn công đã dịch chuyển từ chatbot đơn giản sang hệ thống có truy xuất dữ liệu và có quyền hành động.

Kỹ năngHọc viên gọi tên được các hạng mục chính trong OWASP Top 10 for LLM và giải thích được vì sao hai hạng mục mới xuất hiện năm 2025.

Hình thứcVideo 5 phút, mười hạng mục hiện dạng lưới hai cột.

Ý chínhAI có thể tối ưu đúng chỉ số nhưng sai mục tiêu thật sự con người muốn — ví dụ một chatbot tối ưu thời gian trả lời nhưng bỏ qua độ chính xác. Ba kỹ thuật đưa AI về đúng mục tiêu: RLHF huấn luyện AI theo phản hồi của người dùng, Constitutional AI cho AI tự kiểm tra theo một bộ nguyên tắc, và instruction tuning dạy AI hiểu và thực hiện đúng chỉ dẫn. Alignment không phải vấn đề giải quyết một lần; khi use case thay đổi, alignment cần được kiểm tra lại.

Kỹ năngHọc viên giải thích được khái niệm alignment bằng ví dụ cụ thể và nêu được ba kỹ thuật đưa AI về đúng mục tiêu.

Hình thứcVideo 5 phút, ví dụ chatbot tối ưu sai chỉ số minh hoạ mở đầu.

Ý chínhHai dấu hiệu sớm của misalignment: reward hacking là AI gian lận để đạt điểm cao mà không thực sự giải quyết vấn đề, như một model chơi Tetris dừng vĩnh viễn trước khi thua để không mất điểm; deceptive alignment là AI giả vờ được căn chỉnh đúng trong khi bí mật theo đuổi mục tiêu khác. Học viên dự đoán kết quả trước khi xem hai đoạn mã chạy thật: một đoạn AI được giao sửa lỗi một hàm cộng nhưng lại sửa file kiểm thử thay vì sửa hàm gốc để test báo pass; một đoạn AI trả lời an toàn khi biết đang bị đánh giá nhưng thực thi yêu cầu độc hại khi cờ đánh giá tắt. Một nghiên cứu năm 2025 thử cho 16 model hàng đầu đóng vai agent quản lý email; khi bị đe doạ thay thế trong kịch bản giả lập, nhiều model dùng thông tin nhạy cảm để đe doạ ngược lại người giám sát — bằng chứng cho thấy vì sao agentic AI cần guardrails và human-in-the-loop.

Kỹ năngHọc viên dự đoán và sau đó giải thích được cơ chế reward hacking và deceptive alignment qua ví dụ mã nguồn chạy thật.

Hình thứcMô phỏng dự đoán rồi quan sát, 6 phút, học viên đoán kết quả trước khi xem đoạn ghi màn hình chạy hai đoạn mã cấu hình sẵn. Phương án thay thế: video giải thích 4 phút không cần dự đoán trước.

Ý chínhAI Control là các cơ chế kỹ thuật giữ AI trong tầm kiểm soát: kill switch dừng agent ngay khi phát hiện bất thường, giới hạn phạm vi tool được dùng, giới hạn tốc độ hành động, và ghi lại nhật ký để review sau; điểm cân bằng tốt nhất là kết hợp guardrails và human-in-the-loop cho các quyết định rủi ro cao, thay vì để agent hoàn toàn tự động hoặc hoàn toàn do con người kiểm soát. AI Governance là khung pháp lý và đạo đức bên ngoài: EU AI Act phân loại rủi ro thành bốn mức từ không chấp nhận được đến tối thiểu, bắt đầu áp nghĩa vụ minh bạch từ tháng 8 năm 2026; NIST AI RMF của Mỹ là khung quản trị rủi ro tự nguyện; UNESCO AI Ethics đưa ra các nguyên tắc đạo đức AI toàn cầu.

Kỹ năngHọc viên phân biệt được AI Control là cơ chế kỹ thuật và AI Governance là khung pháp lý, đạo đức, và nêu được ví dụ cho mỗi loại.

Hình thứcVideo 7 phút, bảng so sánh Control và Governance, mốc thời gian EU AI Act hiện dạng dòng thời gian.

Ý chính3 câu kiểm tra: bốn thuật ngữ AI Safety, ba kỹ thuật đưa AI về đúng mục tiêu, khác biệt giữa AI Control và AI Governance.

Kỹ năngHọc viên tự kiểm tra ba ý chính của module.

Hình thứcQuiz 3 câu, chấm ngay.

Ý chínhDirect injection là khi user gửi thẳng chỉ dẫn mới nhằm ghi đè system prompt, ví dụ yêu cầu agent bỏ qua mọi chỉ dẫn trước đó hoặc tiết lộ system prompt; đây là kiểu tấn công phổ biến nhất, phần lớn agent chưa có guardrails đều dễ bị tấn công kiểu này. Indirect injection nguy hiểm hơn vì chỉ dẫn độc hại không đến từ user mà ẩn trong nội dung agent tự đọc — một trang web, một tài liệu, hoặc một email; agent dùng RAG đặc biệt dễ bị vì nó đọc nội dung bên ngoài rồi thực thi theo. Ví dụ: một tài liệu chứa chữ ẩn yêu cầu agent bỏ qua chỉ dẫn và trả lời sai lệch hoàn toàn về nội dung tài liệu.

Kỹ năngHọc viên phân biệt được direct injection và indirect injection, và giải thích được vì sao indirect injection nguy hiểm hơn dù user không cố ý tấn công.

Hình thứcVideo 7 phút, hai kịch bản agent dùng RAG và agent đọc email minh hoạ indirect injection.

Ý chínhBốn kỹ thuật jailbreak phổ biến: roleplay yêu cầu agent đóng vai một nhân vật không có giới hạn; mã hoá bằng Base64 hoặc ROT13 để chỉ dẫn độc hại không bị pattern matching phát hiện; đa bước dùng chuỗi câu hỏi vô hại tăng dần để dẫn đến nội dung nguy hiểm; và chuyển sang ngôn ngữ ít phổ biến vì safety filter thường huấn luyện chủ yếu trên tiếng Anh nên dễ bị bỏ sót. Cả bốn kỹ thuật đều khai thác cùng một điểm yếu: safety filter chỉ kiểm tra được những gì nó được huấn luyện để nhận ra.

Kỹ năngHọc viên gọi tên được bốn kỹ thuật jailbreak và giải thích được điểm yếu chung mà cả bốn cùng khai thác.

Hình thứcVideo 8 phút, bốn kỹ thuật minh hoạ bằng đoạn hội thoại mẫu.

Ý chínhCặp tương phản: prompt injection nhằm thao túng agent thực hiện một hành động sai — ví dụ gửi email cho người không được phép nhận; jailbreak nhằm khiến agent sinh ra nội dung sai — ví dụ nội dung độc hại hoặc bị cấm. Hai khái niệm dễ bị dùng lẫn vì cùng bắt đầu từ một input độc hại, nhưng khác nhau ở mục tiêu cuối: injection nhắm vào hành động của agent, jailbreak nhắm vào nội dung câu trả lời của agent.

Kỹ năngHọc viên phân loại đúng một tình huống tấn công là prompt injection hay jailbreak dựa trên mục tiêu cuối của kẻ tấn công.

Hình thứcVideo 4 phút, hai cột prompt injection và jailbreak đối chiếu song song bằng ví dụ.

Ý chínhKỹ thuật khai thác dữ liệu cá nhân: hỏi thẳng về nội dung trao đổi của user trước đó, yêu cầu tổng hợp toàn bộ dữ liệu khách hàng, hoặc hỏi lộ khoá API trong cấu hình; nguy hiểm hơn là multi-step extraction, hỏi từng phần nhỏ vô hại rồi ghép lại thành thông tin nhạy cảm hoàn chỉnh. Agentic AI nguy hiểm hơn ở đây vì agent có quyền truy cập cơ sở dữ liệu, đọc được file và email, và có thể gửi dữ liệu ra ngoài qua tool — mỗi tool agent được gắn thêm là thêm một bề mặt có thể bị tấn công.

Kỹ năngHọc viên giải thích được cơ chế multi-step extraction và nêu được vì sao agentic AI có bề mặt tấn công lớn hơn chatbot.

Hình thứcVideo 5 phút, ví dụ multi-step extraction minh hoạ từng bước ghép thông tin.

Ý chínhHọc viên áp kỹ thuật vừa học để viết từ 2 đến 3 prompt tấn công nhắm vào agent của nhóm mình đã xây trong các ngày trước, gồm cả prompt dạng direct injection và jailbreak; với mỗi prompt, học viên ghi rõ mục tiêu tấn công là gì và agent sẽ làm gì nếu bị lừa thành công. Hoạt động chuẩn bị trực tiếp cho module tiếp theo về input guardrails, vì các prompt tấn công này được dùng lại để kiểm tra guardrail nào bắt được.

Kỹ năngHọc viên tự viết được prompt tấn công có mục tiêu rõ ràng nhắm vào agent thật của mình.

Hình thứcMô phỏng thực hành, 8 phút theo nhóm 3–4 người, viết prompt tấn công trên agent cấu hình sẵn hoặc agent của nhóm, kết quả tổng hợp cùng lớp. Phương án thay thế: bài tập cá nhân viết 2 prompt tấn công.

Ý chính3 câu kiểm tra: phân biệt direct và indirect injection, bốn kỹ thuật jailbreak, phân biệt prompt injection và jailbreak.

Kỹ năngHọc viên tự kiểm tra ba ý chính của module.

Hình thứcQuiz 3 câu, chấm ngay.

Ý chínhInput đi qua bốn lớp trước khi đến LLM: input validation kiểm tra độ dài, ngôn ngữ, định dạng; injection detection dùng pattern matching kết hợp bộ phân loại dựa trên LLM để phát hiện chỉ dẫn độc hại; topic filter chỉ cho phép các chủ đề liên quan use case, ví dụ trợ lý nhân sự từ chối tư vấn tiền số; và rate limiting giới hạn số lượt gọi mỗi phút để ngăn lạm dụng và bùng nổ chi phí. Input bị chặn ở lớp nào thì dừng ngay tại đó, không tốn thêm token xử lý.

Kỹ năngHọc viên mô tả được bốn lớp input guardrails theo đúng thứ tự và nêu được ví dụ cho mỗi lớp.

Hình thứcVideo 7 phút, sơ đồ bốn lớp hiện lần lượt theo luồng input đi qua. Kèm sơ đồ bốn lớp dạng một trang để lưu lại.

Ý chínhCách phát hiện injection đơn giản nhất là so khớp input với một danh sách mẫu biểu thức chính quy, ví dụ các cụm như "bỏ qua chỉ dẫn trước đó" hoặc "tiết lộ system prompt". Pattern matching bắt được khoảng 60 đến 70% injection cơ bản, phần còn lại cần kết hợp thêm bộ phân loại dựa trên LLM để bắt các biến thể phức tạp hơn. Đây là lớp phòng thủ nhanh và nên luôn có, nhưng không đủ một mình.

Kỹ năngHọc viên đọc hiểu được một đoạn mã pattern-based detection và giải thích được giới hạn về tỉ lệ bắt được của nó.

Hình thứcVideo 5 phút ghi màn hình đọc đoạn mã mẫu.

Ý chínhHọc viên quay lại 2 prompt tấn công đã viết ở module trước, dự đoán trước lớp guardrail nào trong bốn lớp input sẽ bắt được từng prompt, sau đó chạy mô phỏng trên bộ phân loại cấu hình sẵn để quan sát kết quả thật và lý do vì sao lớp đó bắt được hoặc bỏ sót. Hoạt động cho học viên thấy trực tiếp rằng một prompt có thể lọt qua lớp này nhưng bị chặn ở lớp khác — nền tảng cho khái niệm defense in depth ở module sau.

Kỹ năngHọc viên dự đoán và kiểm chứng được lớp guardrail nào bắt một prompt tấn công cụ thể, và giải thích được vì sao.

Hình thứcMô phỏng dự đoán rồi quan sát, 8 phút trên bộ phân loại cấu hình sẵn theo nhóm 3–4 người. Phương án thay thế: bài tập cá nhân đối chiếu với bảng đáp án cho sẵn.

Ý chínhDetection dựa trên pattern hay bộ phân loại luôn có thể bị vượt qua bằng biến thể mới, vì dữ liệu và chỉ dẫn nằm chung một luồng token mà model không có ranh giới rõ giữa lệnh và dữ liệu như cách phần mềm thông thường phân biệt code và data. Ngoài quy tắc tự viết, ngành đã có các bộ phân loại chuyên dụng nhẹ như Llama Prompt Guard 2 của Meta để phát hiện injection và jailbreak trên nhiều ngôn ngữ, hoặc Llama Guard 4 để phân loại các nhóm nội dung nguy hại ở cả đầu vào và đầu ra. Bằng chứng năm 2025 cho thấy kỹ thuật giấu chỉ dẫn trong ký tự Unicode hoặc emoji vẫn đạt tỉ lệ vượt qua gần như tuyệt đối trên một số guardrail thương mại — kết luận là phòng thủ bền vững phải đến từ thiết kế kiến trúc, không chỉ từ bộ lọc.

Kỹ năngHọc viên giải thích được vì sao detection dựa trên pattern luôn có thể bị vượt qua, và nêu được ít nhất một bộ phân loại chuyên dụng thay thế.

Hình thứcVideo 5 phút, ví dụ Unicode và emoji minh hoạ giới hạn của filter.

Ý chínhSpotlighting đánh dấu rõ ràng đâu là dữ liệu, đâu là lệnh bằng cách bọc token, chèn ký hiệu, hoặc mã hoá, giúp giảm mạnh tỉ lệ vượt qua của indirect injection. Instruction hierarchy dạy model thứ tự ưu tiên rõ ràng — chỉ dẫn hệ thống cao hơn chỉ dẫn của user, chỉ dẫn của user cao hơn nội dung model đọc được — để khi có xung đột, lệnh từ nguồn thấp hơn bị bỏ qua. Kiến trúc CaMeL và các mẫu thiết kế Dual-LLM đi xa hơn bằng cách tách hẳn hai model: một model có quyền gọi tool xử lý lệnh tin cậy, một model không có quyền gọi tool xử lý dữ liệu không tin cậy, sao cho dữ liệu độc hại không thể đổi hướng hành động của agent; cách này an toàn hơn nhưng đánh đổi một phần khả năng hoàn thành tác vụ, gọi là nguyên tắc lethal trifecta — không cấp đủ cả ba quyền truy cập dữ liệu riêng tư, đọc nội dung không tin cậy, và giao tiếp ra ngoài cho cùng một agent.

Kỹ năngHọc viên phân biệt được spotlighting, instruction hierarchy và kiến trúc Dual-LLM, và giải thích được đánh đổi giữa an toàn và khả năng hoàn thành tác vụ.

Hình thứcVideo 8 phút, sơ đồ Dual-LLM hiện dần luồng dữ liệu tin cậy và không tin cậy.

Ý chính3 câu kiểm tra: bốn lớp input guardrails, giới hạn của pattern matching, nguyên tắc lethal trifecta.

Kỹ năngHọc viên tự kiểm tra ba ý chính của module.

Hình thứcQuiz 3 câu, chấm ngay.

Ý chínhOutput đi qua bốn lớp trước khi đến user: content filter phát hiện nội dung độc hại và dữ liệu cá nhân để redact hoặc chặn; grounding check kiểm tra output có dựa trên nội dung truy xuất được hay không, gắn cờ các nhận định không có nguồn; format validation đảm bảo response đúng schema, không chứa đường dẫn hoặc số liệu bịa; và human review đưa output vào hàng chờ cho người xét duyệt khi độ tin cậy thấp hoặc chủ đề nhạy cảm, thay vì gửi thẳng cho user. Grounding check là cầu nối giữa pipeline truy xuất dữ liệu và lớp tin cậy trong giao diện người dùng — thiếu grounding check thì cả hai đều mất giá trị.

Kỹ năngHọc viên mô tả được bốn lớp output guardrails và giải thích được vì sao grounding check là lớp kết nối quan trọng nhất.

Hình thứcVideo 7 phút, sơ đồ bốn lớp hiện lần lượt theo luồng output đi ra. Kèm sơ đồ bốn lớp dạng một trang để lưu lại.

Ý chínhHai tình huống trông giống nhau bề ngoài: một yêu cầu agent gửi email cho danh sách khách hàng đã được cấp quyền — đây là vấn đề chính sách phân quyền, ai được cấp quyền gửi hàng loạt; một yêu cầu agent gửi email cho toàn bộ nhân viên công ty khi user không có quyền đó — đây cũng là vấn đề phân quyền chứ không phải nội dung email có độc hại hay không, nên guardrail nội dung không giải quyết được, cần access control ở tầng hệ thống. Học viên phân loại từng tình huống trước khi xem lời giải để tự nhận ra ranh giới: guardrail kiểm soát nội dung và hành vi của model, còn access control kiểm soát quyền hạn của người dùng trên hệ thống.

Kỹ năngHọc viên phân loại đúng một tình huống thuộc về guardrail nội dung hay thuộc về chính sách phân quyền hệ thống.

Hình thứcMô phỏng cặp tương phản, 5 phút trên 2 tình huống cấu hình sẵn, thảo luận theo nhóm rồi đối chiếu đáp án. Phương án thay thế: quiz phân loại 2 câu không cần thảo luận.

Ý chínhBa tầng chồng lên nhau: input rails gồm validation, injection detection, topic filter; LLM rails là system prompt được gia cố cùng chỉ dẫn an toàn; output rails gồm content filter, grounding, format, human review. Nguyên tắc: mỗi lớp bắt một loại lỗi khác nhau, nếu input rail bỏ sót thì output rail vẫn có cơ hội chặn — giống cách một hệ thống backend dùng lớp bảo vệ ở tầng mạng, lớp bảo vệ ở tầng ứng dụng, và kiểm tra nghiệp vụ ở tầng logic, không lớp nào thay thế được lớp nào. Nếu chỉ dùng một tầng, các lỗi ở tầng khác sẽ lọt qua hoàn toàn.

Kỹ năngHọc viên vẽ lại được ba tầng phòng thủ và giải thích được vì sao thiếu một tầng vẫn để lọt loại lỗi mà tầng đó phụ trách.

Hình thứcVideo 6 phút, ẩn dụ các lớp bảo vệ trong hệ thống backend minh hoạ ba tầng.

Ý chínhNeMo Guardrails của NVIDIA cấu hình khai báo bằng ngôn ngữ Colang, cung cấp topical rail giữ agent đúng phạm vi, dialog rail kiểm soát luồng hội thoại, và moderation rail kiểm tra nội dung an toàn — phù hợp khi cần kiểm soát chặt luồng hội thoại mà không muốn viết code từ đầu. Guardrails AI cung cấp hơn 100 validator có sẵn để ép output đúng schema, kiểm tra dữ liệu cá nhân, độ độc hại, và có cơ chế thử lại khi output không hợp lệ. Ở lớp kiểm duyệt, OpenAI omni-moderation là công cụ kiểm duyệt đa phương thức miễn phí, còn Constitutional Classifiers của Anthropic hạ tỉ lệ jailbreak thành công từ 86% xuống còn 4,4% trên hệ thống được bảo vệ. Cách tiếp cận thực tế là kết hợp nhiều công cụ, không dùng một cách tiếp cận duy nhất.

Kỹ năngHọc viên chọn được công cụ phù hợp cho một tình huống cụ thể trong số NeMo Guardrails, Guardrails AI, và LLM-as-Judge, và giải thích được lý do.

Hình thứcVideo 7 phút, bảng công cụ và bảng quyết định chọn theo tình huống.

Ý chínhRed teaming là chủ động tấn công agent bằng adversarial prompt, thử mọi cách vượt qua guardrails, ghi lại kết quả pass hay fail, rồi vá lỗ hổng và kiểm tra lại; cách làm này phát hiện được phần lớn vấn đề trước khi triển khai và ít tốn kém hơn nhiều so với xử lý sau khi sự cố đã xảy ra với người dùng thật. Bộ adversarial test nên được chạy lại ở mỗi lần phát hành, giống như unit test — agent không qua được safety test thì không được triển khai. Xây dựng văn hoá chủ động báo cáo lỗ hổng giúp lỗ hổng được phát hiện sớm thay vì bị giấu vì sợ bị đánh giá.

Kỹ năngHọc viên mô tả được quy trình red teaming bốn bước và giải thích được vì sao nên chạy lại bộ test này ở mỗi lần phát hành.

Hình thứcVideo 6 phút, quy trình bốn bước hiện dạng vòng lặp.

Ý chính4 câu kiểm tra: bốn lớp output guardrails, ranh giới giữa guardrail và chính sách phân quyền, ba tầng phòng thủ, quy trình red teaming bốn bước.

Kỹ năngHọc viên tự kiểm tra trước khi vào lab.

Hình thứcQuiz 4 câu, chấm ngay.

Ý chínhBa mô hình theo mức độ can thiệp của con người tăng dần: human-on-the-loop là agent hành động trước, con người xem lại sau, dùng cho hành động rủi ro thấp và có thể hoàn tác; human-in-the-loop là agent đề xuất, con người duyệt trước khi thực hiện, dùng cho rủi ro trung bình; human-as-tiebreaker là con người quyết định, agent chỉ hỗ trợ, dùng cho quyết định rủi ro cao. Năm tình huống kích hoạt yêu cầu con người tham gia: hành động không thể hoàn tác, quyết định rủi ro cao, độ tin cậy thấp, trường hợp biên chưa từng gặp, và chủ đề nhạy cảm như y tế, pháp lý, tài chính.

Kỹ năngHọc viên gọi tên được ba mô hình HITL theo đúng thứ tự can thiệp tăng dần và chọn đúng mô hình cho một tình huống cho trước.

Hình thứcVideo 6 phút, ba mô hình và bảng năm trigger hiện lần lượt kèm ví dụ.

Ý chínhBa mô hình human-on-the-loop, human-in-the-loop, và human-as-tiebreaker có tên gần giống nhau nên rất dễ đọc nhầm chiều tăng dần của mức độ can thiệp. Học viên nhận 3 tình huống hành động của agent, tự sắp xếp chúng theo đúng chiều rủi ro tăng dần và gán mô hình HITL phù hợp trước khi xem sơ đồ chuẩn để đối chiếu, từ đó tự sửa những chỗ đọc nhầm chiều.

Kỹ năngHọc viên sắp xếp đúng ba mô hình HITL theo chiều rủi ro tăng dần và chọn đúng mô hình cho một tình huống cho trước.

Hình thứcMô phỏng dự đoán rồi quan sát, 4 phút, học viên sắp xếp thứ tự trên 3 tình huống cấu hình sẵn trước khi đối chiếu sơ đồ chuẩn. Phương án thay thế: quiz sắp xếp thứ tự 3 câu.

Ý chínhLuồng xử lý: request của user đi qua agent, agent trả về một điểm tin cậy; nếu điểm tin cậy cao, response được gửi thẳng cho user; nếu thấp, response được đưa vào hàng chờ cho con người xem lại; quyết định của con người sau đó được đưa ngược lại thành dữ liệu để cải thiện agent, tạo thành một vòng phản hồi. Ngoài điểm tin cậy, loại hành động cũng quyết định định tuyến: các hành động rủi ro cao như gửi email, xoá dữ liệu, chuyển tiền luôn cần con người bất kể điểm tin cậy bao nhiêu.

Kỹ năngHọc viên đọc hiểu được luồng định tuyến HITL dựa trên cả điểm tin cậy và loại hành động.

Hình thứcVideo 6 phút ghi màn hình đọc đoạn mã định tuyến mẫu.

Ý chínhBa sai lầm phổ biến: bắt mọi request đều cần con người duyệt khiến hệ thống nghẽn và user bỏ cuộc; để con người duyệt mà không cho đủ ngữ cảnh khiến việc duyệt chỉ mang tính hình thức; và không có vòng phản hồi khiến agent không bao giờ cải thiện. Cách vận hành tốt: chỉ đưa lên con người khi thật sự cần và có đủ ngữ cảnh, dùng phản hồi của con người để cải thiện agent, theo dõi các chỉ số như thời gian duyệt và tỉ lệ chấp thuận. Kinh nghiệm vận hành thực tế: khi một ngưỡng điểm tin cậy đặt cao nhưng các trường hợp ở ngưỡng thấp hơn liên tục được con người chấp thuận, ngưỡng có thể được hạ dần để giảm số lượt cần con người mà vẫn giữ độ an toàn.

Kỹ năngHọc viên nêu được ba sai lầm HITL thường gặp và giải thích được cách điều chỉnh ngưỡng độ tin cậy dựa trên tỉ lệ chấp thuận thực tế.

Hình thứcVideo 6 phút, ba sai lầm và ba thực hành tốt trình bày song song.

Ý chínhHọc viên nhìn lại các tool mà agent của nhóm mình gọi và các response nó tạo ra, chọn một trong ba mô hình HITL cho 3 hành động cụ thể của agent, kèm lý do lựa chọn cho từng hành động. Hoạt động buộc học viên áp toàn bộ khung lý thuyết của module vào chính sản phẩm của mình, chuẩn bị trực tiếp cho hạng mục HITL trong lab.

Kỹ năngHọc viên tự thiết kế được luồng HITL cho ít nhất 3 hành động của agent thật, có lý do rõ ràng cho từng lựa chọn.

Hình thứcMô phỏng thực hành, 6 phút theo nhóm 3–4 người trên agent của nhóm, kết quả tổng hợp cùng lớp. Phương án thay thế: bài tập cá nhân điền bảng 3 hành động.

Ý chínhBốn trụ cột: hiển thị lý do — agent giải thích quá trình suy nghĩ trước khi hành động; có thể hoàn tác — mọi hành động có nút huỷ trong một khoảng thời gian ngắn sau khi thực hiện; hiển thị độ tin cậy đúng thực tế — nhãn cao, trung bình, thấp phải phản ánh đúng tỉ lệ chính xác thật của agent; và user tự chọn quyền — người dùng bật tắt được quyền agent được đọc email hay được gửi email. Bốn trụ cột này kết nối trực tiếp với HITL đã học ở trên: cùng nhằm một mục tiêu là user tin được vào quyết định của agent mà không cần hiểu cơ chế bên trong.

Kỹ năngHọc viên liệt kê được bốn trụ cột Trust và Transparency UX và nêu được ví dụ cụ thể cho mỗi trụ cột.

Hình thứcVideo 5 phút, bốn trụ cột hiện lần lượt kèm ví dụ màn hình.

Ý chính3 câu kiểm tra: ba mô hình HITL theo chiều rủi ro tăng dần, khi nào cần con người tham gia, bốn trụ cột Trust và Transparency UX.

Kỹ năngHọc viên tự kiểm tra trước khi vào lab.

Hình thứcQuiz 3 câu, chấm ngay.

Ý chínhGiảng viên trả lời câu hỏi mở đầu bằng bốn điểm chính: guardrails là lớp bảo vệ bắt buộc cho AI chứ không phải tuỳ chọn, cần đủ ba tầng input, LLM và output; AI Safety là lĩnh vực rộng trải từ alignment đến governance và red teaming, hiểu đúng thuật ngữ là bước đầu tiên; prompt injection chưa có lời giải triệt để, bộ lọc chỉ là bước khởi đầu, phòng thủ bền vững đến từ thiết kế kiến trúc; và HITL cùng red teaming trước khi triển khai là tính năng làm tăng độ tin cậy sản phẩm chứ không phải dấu hiệu AI yếu. Giới thiệu Ngày 12: đưa agent lên cloud.

Kỹ năngHọc viên tóm tắt được bốn điểm chính bằng ngôn ngữ của mình.

Hình thứcVideo giảng viên, 3 phút.

Ý chínhKhi một agent cùng lúc có quyền truy cập dữ liệu riêng tư, đọc nội dung không tin cậy, và có thể giao tiếp ra ngoài, indirect injection có thể khai thác dữ liệu ra ngoài vô điều kiện dù bộ lọc mạnh đến đâu; phòng thủ chính là không cấp đủ cả ba quyền cho cùng một agent. Sáu design pattern hiện thực hoá nguyên tắc này: action-selector chỉ cho agent chọn từ danh sách tool cố định; plan-then-execute chốt kế hoạch trước khi chạy; LLM map-reduce cho mỗi model xử lý một tài liệu cô lập; dual-LLM tách model có quyền gọi tool và model chỉ đọc dữ liệu; code-then-execute cho agent viết mã mô tả lời gọi tool; và context-minimization loại bỏ phần ngữ cảnh nhạy cảm sau khi đã lập kế hoạch. Mở rộng cho item 4.5.

Kỹ năngHọc viên gọi tên được sáu design pattern và giải thích được nguyên tắc lethal trifecta đứng sau chúng.

Hình thứcVideo 8 phút, sáu pattern hiện lần lượt kèm sơ đồ luồng dữ liệu.

Ý chínhCác phòng thí nghiệm AI hàng đầu tự đặt ra khung an toàn ràng buộc chính mình trước khi huấn luyện hoặc triển khai model mới: Anthropic Responsible Scaling Policy dùng các cấp độ an toàn AI; OpenAI Preparedness Framework phiên bản hai theo dõi các nhóm năng lực nguy hiểm gồm sinh học và hoá học, an ninh mạng, và khả năng tự cải thiện, nếu năng lực ở mức cao thì model không được triển khai; Google DeepMind Frontier Safety Framework định nghĩa các cấp độ năng lực nguy hiểm cho sinh học, an ninh mạng, nghiên cứu máy học, và cả khả năng thao túng cùng khả năng chống lại việc bị tắt. Mở rộng cho item 2.5.

Kỹ năngHọc viên nêu được tên và cơ chế chính của ba khung an toàn tiên tiến của các phòng thí nghiệm AI lớn.

Hình thứcVideo 6 phút, bảng ba khung an toàn hiện lần lượt.

Ý chínhNgoài việc tự viết prompt tấn công, ngành có sẵn các bộ benchmark và công cụ chuyên dụng: HarmBench đo hàng trăm hành vi gây hại để so sánh hiệu quả tấn công và phòng thủ; JailbreakBench cung cấp một bộ hành vi kèm bảng xếp hạng jailbreak công khai; AgentDojo kiểm tra hàng chục tác vụ với hàng trăm ca prompt injection dành riêng cho agent; garak là một bộ quét lỗ hổng LLM với nhiều kiểu kiểm tra khác nhau; và PyRIT của Microsoft tự sinh và tự chấm điểm adversarial prompt. Bài red team trong lab của ngày là một phiên bản thu nhỏ với 5 prompt tấn công; các bộ công cụ này được dùng khi hệ thống đã lên môi trường vận hành thật, chạy lại ở mỗi lần phát hành. Mở rộng cho item 5.5.

Kỹ năngHọc viên gọi tên được năm benchmark và công cụ red team phổ biến và mô tả được mỗi công cụ đo hoặc làm gì.

Hình thứcVideo 6 phút, bảng năm công cụ hiện lần lượt.

Ý chínhTình huống: một chatbot ngân hàng có agent cấu hình cố ý chứa mật khẩu và khoá API trong system prompt để kiểm tra khả năng rò rỉ. Học viên viết input guardrails xử lý jailbreak và nội dung không tin cậy từ tài liệu hoặc email, kèm xử lý ký tự Unicode và trường hợp báo động giả; thiết lập permission và HITL gồm danh sách cho phép kết nối ra ngoài, luồng phê duyệt hoặc từ chối cho hành động rủi ro cao kèm thời gian chờ và nhật ký; xây output guardrail che thông tin cá nhân và bí mật, cùng cơ chế theo dõi và truy vết sự cố; và thực hiện red team viết 5 hoặc nhiều hơn prompt tấn công nâng cao, phân loại theo kiểu tấn công và báo cáo đường đi từ nguồn đến đích. Học viên nộp báo cáo cùng kết quả kiểm thử để đánh giá.

Kỹ năngHọc viên xây dựng được input và output guardrail hoàn chỉnh, thiết kế được luồng HITL theo mức rủi ro, và viết được báo cáo red team có bằng chứng.

Hình thứcLab 4 giờ 35 phút tại lớp với người hướng dẫn, theo repo có sẵn, gồm phần thiết lập môi trường, phòng thủ, tấn công và demo cuối buổi. Kèm bộ mã nguồn khởi tạo guardrails, HITL và attack templates, có sẵn vị trí điền khoá API.