InfernoSIM: kiểm thử lỗi công cụ và luồng đồng thời của AI agent ngay trên máy

InfernoSIM là một sidecar mã nguồn mở viết bằng Go, dùng để ghi lại lưu lượng rồi tái hiện sự cố trong một dịch vụ cô lập. Với AI agent, điểm hữu ích nhất là khả năng phát lại phản hồi LLM và MCP đã ghi, sau đó chủ động chèn lỗi để xem ứng dụng xử lý ra sao.

Công cụ này dành cho đội đang xây agent có gọi API, MCP server hoặc các công cụ làm thay đổi dữ liệu. Thay vì chờ lỗi hiếm xuất hiện lại hoặc chạy mô hình nhiều lần, bạn có thể giữ nguyên phản hồi đã ghi và thử từng tình huống theo cách lặp lại được.

Ảnh minh họa do Tài Nguyên Số tạo để bổ sung ngữ cảnh cho bài viết.

Bạn có thể dùng nó vào việc gì?

Kiểm tra một lời gọi công cụ bị sai

InfernoSIM có thể nhắm tới từng lời gọi trong luồng phản hồi của OpenAI, Anthropic hoặc Ollama, kể cả khi nhiều tool call được truyền xen kẽ. Bạn có thể thử thiếu tham số, tham số sai hoặc dữ liệu chưa hoàn chỉnh, rồi kiểm tra agent có dừng an toàn hay vẫn thực hiện thao tác ngoài ý muốn.

Phát hiện lỗi retry tạo dữ liệu trùng

Một ca khá khó xử lý là thao tác đã hoàn tất nhưng phản hồi bị mất. Agent có thể tưởng rằng lần gọi thất bại và thử lại, từ đó tạo thanh toán, đơn hàng hoặc bản ghi trùng. InfernoSIM cho phép mô phỏng tình huống này và đối chiếu tác dụng phụ thực tế, thay vì chỉ nhìn vào câu trả lời của agent.

Thử các thứ tự xử lý đồng thời

Khi nhiều yêu cầu HTTP hoặc MCP chạy song song, kết quả có thể thay đổi theo thứ tự gửi và nhận phản hồi. Công cụ có thể phát hiện quan hệ phụ thuộc, tạo lịch chạy có seed và tách riêng thời điểm tiếp nhận yêu cầu với thời điểm trả phản hồi. Cách này hữu ích để tìm lỗi dữ liệu cũ, tranh chấp trạng thái hoặc kết quả chỉ sai ở một thứ tự hiếm gặp.

Giữ sự cố thành bài kiểm thử hồi quy

Một ca thất bại có thể được thu gọn nhưng vẫn giữ quan hệ nhân quả, định danh và bằng chứng thực thi. Nhóm phát triển có thể tái hiện ca đó trên máy cá nhân hoặc trong hệ thống kiểm thử tự động. InfernoSIM cũng hỗ trợ báo cáo JUnit, SARIF và HTML để việc xem kết quả thuận tiện hơn.

Điểm đáng thử

InfernoSIM hoạt động theo hướng local-first và không cần dịch vụ InfernoSIM được lưu trữ bên ngoài. Với bài kiểm thử agent xác định, mô hình chỉ cần được ghi một lần; các lần thử lỗi tiếp theo phát lại giao thức đã lưu. Công cụ còn có chế độ an toàn mặc định, bỏ qua các yêu cầu ghi như POST, PUT, PATCH và DELETE khi phát lại, trừ khi người dùng chủ động cho phép.

Cần lưu ý

Đây không phải công cụ dành cho người mới chỉ muốn trò chuyện với mô hình cục bộ. Bạn cần hiểu ứng dụng, các phụ thuộc và trạng thái cần kiểm tra để viết assertion có ý nghĩa. Một số ví dụ yêu cầu Go 1.26.9 trở lên cùng Docker Compose.

Các tùy chọn cho phép ghi request body, truy cập địa chỉ riêng hoặc phát lại thao tác ghi có thể làm lộ dữ liệu và thay đổi trạng thái. Chỉ nên dùng chúng với hệ thống thử nghiệm cô lập, sau khi đã đọc rõ phạm vi của từng cờ lệnh.

Nếu bạn đang xây agent dùng Ollama, MCP hoặc API bên ngoài và muốn biết nó phản ứng thế nào khi công cụ trả lỗi không rõ ràng, phản hồi chậm hoặc hoàn tất nhưng mất kết quả, tài liệu và các hướng dẫn chạy mẫu trong kho GitHub là điểm bắt đầu phù hợp.