Leviathan: giúp AI agent tra cứu dữ liệu lớn mà không phải đọc toàn bộ lịch sử

Leviathan là công cụ tạo chỉ mục tìm kiếm toàn văn dành cho AI agent. Thay vì để agent dùng grep, đọc hàng nghìn dòng log hoặc nạp cả lịch sử vào ngữ cảnh, bạn lập chỉ mục dữ liệu một lần rồi chỉ trả về vài bản ghi sát câu hỏi nhất.

Công cụ này hữu ích nếu dữ liệu của bạn nằm trong JSONL, JSON, CSV, TSV, SQLite hoặc có thể xuất qua CLI của cơ sở dữ liệu. Kết quả được trình bày thành các thẻ ngắn, có ID và thông tin liên quan, nhờ đó agent có thể trả lời dựa trên nguồn cụ thể thay vì tự mò trong một khối văn bản dài.

Ảnh minh họa do Tài Nguyên Số tạo để bổ sung ngữ cảnh cho bài viết.

Bạn có thể dùng nó vào việc gì?

Tra cứu lịch sử hỗ trợ khách hàng

Với kho ticket lớn, agent có thể tìm các trường hợp tương tự theo khách hàng, lỗi và khoảng thời gian. Ví dụ, câu hỏi về lỗi đăng nhập sau khi đổi mật khẩu có thể dẫn thẳng tới ticket từng ghi nhận nguyên nhân, cách xử lý và phiên bản đã sửa.

Tạo bộ nhớ dài hạn cho agent

Bạn có thể lập chỉ mục nhật ký công việc, sự kiện vận hành hoặc lịch sử tác vụ. Khi cần nhớ một quyết định cũ, agent chỉ lấy vài bản ghi được xếp hạng cao thay vì đọc lại toàn bộ lịch sử. Cách này đặc biệt hữu ích khi dữ liệu tiếp tục tăng nhưng cửa sổ ngữ cảnh của mô hình vẫn có giới hạn.

Tìm trong dữ liệu xuất từ nhiều hệ thống

Leviathan không cần giữ thông tin đăng nhập cơ sở dữ liệu. Bạn có thể dùng psql, DuckDB hoặc công cụ CLI phù hợp để xuất bản ghi rồi chuyển đầu ra sang Leviathan. Quy trình này thích hợp khi muốn thêm lớp tìm kiếm cho dữ liệu hiện có mà không xây thêm một dịch vụ tìm kiếm riêng.

Thu hẹp kết quả theo nhóm và điều kiện

Ngoài từ khóa, công cụ hỗ trợ giới hạn theo nhóm, trường dữ liệu và thời gian. Điều này giúp agent tìm trong đúng khách hàng, dự án hoặc giai đoạn cần quan tâm. Nếu tên nhóm không rõ ràng, Leviathan liệt kê ứng viên thay vì tự đoán.

Điểm đáng thử

Leviathan được đóng gói thành một binary, còn chỉ mục nằm trong một tệp SQLite. Chỉ mục có thể cập nhật bằng thao tác thêm, sửa hoặc xóa bản ghi. Agent dùng được qua CLI; nếu cần tích hợp theo chuẩn công cụ, dự án cũng cung cấp MCP ở chế độ chỉ đọc với các thao tác tìm kiếm, mô tả chỉ mục và lấy bản ghi.

Dự án công bố kết quả thử nghiệm khá tốt trên bộ dữ liệu tổng hợp một triệu bản ghi, nhưng đây chỉ là một kịch bản đo. Hiệu quả thực tế còn phụ thuộc cấu trúc trường, cách ánh xạ dữ liệu và kiểu câu hỏi của bạn.

Cần lưu ý

Leviathan hiện ở phiên bản 0.1.0 và hướng tới người dùng kỹ thuật. Bạn sẽ cần chuẩn bị cấu hình cho các trường như ID, tiêu đề, nội dung, nhóm và ngày tháng. Trước khi dùng cho dữ liệu quan trọng, nên thử với một tập nhỏ, kiểm tra chất lượng xếp hạng và xác nhận rằng các trường hiển thị không chứa thông tin nhạy cảm.

Nếu đang xây agent phải tra cứu nhiều log, ticket hoặc bản ghi có cấu trúc, bạn có thể xem kho mã và chạy ví dụ đi kèm để đánh giá liệu Leviathan có phù hợp với dữ liệu của mình hay không.