iPhone Use: điều khiển iPhone thật bằng câu lệnh tự nhiên qua USB

iPhone Use là công cụ giúp Codex, WorkBuddy hoặc Doubao thao tác trên một chiếc iPhone thật được nối với máy Mac bằng USB. Bạn mô tả việc cần làm bằng ngôn ngữ tự nhiên, trợ lý có thể mở ứng dụng, đọc nội dung đang hiển thị, chạm, cuộn và nhập văn bản.

Công cụ này hữu ích nếu bạn thường phải lặp lại một chuỗi thao tác trên iPhone, cần thu thập thông tin từ một danh sách hoặc muốn để trợ lý chuẩn bị nội dung trong ứng dụng. Nó sử dụng WebDriverAgent để giao tiếp với thiết bị, đồng thời cung cấp dịch vụ MCP cục bộ và màn hình xem trước theo thời gian thực.

Ảnh minh họa do Tài Nguyên Số tạo để bổ sung ngữ cảnh cho bài viết.

Bạn có thể dùng nó vào việc gì?

Chuẩn bị nội dung trong ứng dụng

Bạn có thể yêu cầu trợ lý mở Ghi chú, tạo bản nháp, nhập một đoạn tiếng Việt rồi đọc lại để kiểm tra. Việc nhập và gửi được tách riêng, nên công cụ không mặc định bấm nút xác nhận ngay sau khi điền nội dung.

Tìm và tổng hợp thông tin

Với một ứng dụng có danh sách dài, iPhone Use có thể cuộn theo từng đoạn, tìm mục cần thiết, loại bỏ kết quả trùng và cho biết phạm vi đã đọc. Cách này phù hợp khi bạn muốn lấy vài kết quả đầu tiên hoặc rà soát một danh sách mà không phải tự cuộn nhiều lần.

Chạy các chuỗi thao tác lặp lại

Những bước đã biết như chạm, nhập, chờ và chuyển màn hình có thể được gom thành một lượt xử lý. Điều này giảm số lần trợ lý phải trao đổi qua lại, nhất là với quy trình có nhiều bước cố định.

Quan sát và xử lý khi giao diện khó nhận diện

Công cụ ưu tiên đọc cây điều khiển của ứng dụng. Nếu không tìm được nút, phần tử bị che hoặc giao diện trả về thiếu thông tin, nó có thể dùng ảnh chụp màn hình để xác định vị trí chạm. Màn hình trực tiếp cũng cho phép người dùng theo dõi, chạm, kéo hoặc cuộn ngay trong phần xem trước.

Điểm đáng thử

iPhone Use cố gắng tái sử dụng kết nối, phiên WebDriverAgent và bản dựng đã có, nên sau lần thiết lập đầu tiên bạn không cần cài lại mọi thứ cho mỗi tác vụ. Dữ liệu vận hành đi qua kênh USB và dịch vụ cục bộ. Dòng xem trước không được lưu thành tệp.

Dự án có gửi thống kê sử dụng ẩn danh theo mặc định trên bản plugin, nhưng README cho biết không tải lên hình ảnh màn hình, nội dung nhập hoặc định danh thiết bị. Có thể tắt bằng biến môi trường IPHONE_USE_ANALYTICS=0 hoặc DO_NOT_TRACK=1 rồi khởi động lại dịch vụ MCP.

Cần lưu ý

Đây không phải công cụ cắm iPhone vào là dùng ngay. Bạn cần macOS, Xcode đầy đủ, tài khoản Apple và nhóm phát triển để ký WebDriverAgentRunner, cùng Python, Node.js và npm theo yêu cầu của dự án. iPhone phải tin cậy máy Mac, bật chế độ nhà phát triển khi được yêu cầu và thường cần giữ ở trạng thái mở khóa trong lúc cài đặt.

Các bước xác thực bằng mật khẩu, mã OTP hoặc Face ID vẫn phải do bạn tiếp quản. Tốc độ hoàn thành cũng phụ thuộc vào ứng dụng, trạng thái USB, WebDriverAgent và phản hồi của mô hình. README hiện còn lưu ý rằng kho mã có thể yêu cầu quyền truy cập GitHub hoặc một gói mã nguồn đã được cấp.

Nếu bạn đã quen với Xcode và muốn thử tự động hóa trực tiếp trên thiết bị iOS thật, hãy xem hướng dẫn cài đặt và phần xử lý sự cố trong kho mã trước khi bắt đầu.