Cấu phần thứ nhất là mô hình ngôn ngữ lớn (LLM) pháp lý tiếng Việt CMC-AI-Legal-32B, được xây dựng kế thừa và tinh chỉnh cho lĩnh vực pháp luật Việt Nam. Theo nhóm nghiên cứu, các mô hình thương mại tổng quát như GPT-4o, Claude hay Gemini vẫn làm tốt ở nhiệm vụ tổng quát như nhận diện, truy xuất thông tin. Tuy nhiên, khi chuyển sang tác vụ cần suy luận pháp lý phức tạp hoặc tạo lập nội dung pháp lý có cấu trúc, hiệu quả giảm rõ rệt; trong khi mô hình chuyên biệt được huấn luyện theo ngữ cảnh và chuẩn viện dẫn pháp luật Việt Nam cho thấy ưu thế.
Muốn huấn luyện và thẩm định LLM pháp lý đạt chất lượng cao, điều kiện tiên quyết là phải có bộ cơ sở tham chiếu (benchmark) chuẩn cho Việt Nam. Đây là phần việc các bộ chuẩn quốc tế khó đáp ứng yêu cầu, do khác biệt ngôn ngữ và đặc thù của hệ thống pháp lý mỗi quốc gia.
Cấu phần thứ hai là Bộ chuẩn đánh giá pháp lý tiếng Việt VLegal-Bench được thiết kế theo đặc thù hệ thống pháp luật của Việt Nam như cấu trúc phân cấp quy phạm, hiệu lực văn bản, quan hệ sửa đổi-thay thế, phạm vi áp dụng và yêu cầu viện dẫn điều luật cụ thể. Mỗi mẫu dữ liệu gắn với nguồn văn bản pháp luật để bảo đảm khả năng kiểm chứng.
Bộ chuẩn VLegal-Bench gồm 10.450 mẫu dữ liệu, chia thành 22 tác vụ, thiết kế theo 5 cấp độ suy luận tăng dần từ nhận diện–truy xuất điều khoản, hiểu và cấu trúc hóa quy phạm theo mục-chương-điều-khoản-điểm-hạ điểm, suy luận đa bước trong tình huống thực tiễn đến diễn giải-xây dựng nội dung theo văn phong phù hợp, có đánh giá các yếu tố đạo đức, công bằng, thiên lệch.
Ông Nguyễn Tiến Đồng, Giám đốc Kỹ thuật C-OpenAI, đại diện nhóm phát triển cho biết: “Thách thức lớn nhất là bảo đảm tính đúng đắn pháp lý, khả năng tái kiểm chứng và sự tương thích với các chuẩn đánh giá LLM quốc tế. Nhờ phối hợp chặt chẽ giữa chuyên gia luật và kỹ sư AI, chúng tôi hoàn thiện được bộ dữ liệu mẫu và sử dụng 22 mô hình đánh giá để đóng góp cho cộng đồng một bộ benchmark chất lượng cao, làm nền tảng đánh giá cho các trợ lý ảo tiếng Việt pháp lý tại Việt Nam".
Song song phát triển mô hình, C-OpenAI dự kiến sẽ công bố mã nguồn, dữ liệu và quy trình đánh giá theo hướng minh bạch, có thể tái sử dụng tại https://vlegalbench.cmcai.vn/; bày tỏ mong muốn kêu gọi chuyên gia trong và ngoài nước tham gia chuẩn hóa để bộ công cụ ngày một tốt hơn.
