Thí nghiệm Voyager: Khi GPT-4 tự học chơi Minecraft bằng cách viết code

Nguồn ảnh: Voyager project website — “Voyager consists of three key components”. Ảnh minh họa cách Voyager dùng automatic curriculum, iterative prompting mechanism và skill library để học trong Minecraft. Trang nguồn: https://voyager.minedojo.org/

Tóm tắt dễ hiểu

Voyager là một thí nghiệm AI trong Minecraft. Thay vì bắt AI học bằng cách bấm từng phím như người chơi, nhóm nghiên cứu cho AI dùng GPT-4 để viết các đoạn code điều khiển nhân vật trong Minecraft. Mỗi đoạn code là một “kỹ năng”, ví dụ: chặt cây, chế bàn crafting, đào đá, làm cuốc, chiến đấu với zombie hoặc chế tạo công cụ.[1][2]

Điều thú vị là Voyager không được giao một nhiệm vụ cố định duy nhất như “đánh thắng trò chơi”. Nó được đặt vào Minecraft với mục tiêu rộng hơn: khám phá càng nhiều thứ càng tốt. Sau đó, AI tự chọn nhiệm vụ tiếp theo, tự viết code để làm nhiệm vụ, chạy thử trong game, nhìn lỗi, sửa code, rồi lưu kỹ năng đã làm được vào thư viện để dùng lại về sau.[1][2]

Nói ngắn gọn: Voyager giống một người chơi mới vào Minecraft, nhưng thay vì dùng tay điều khiển, nó điều khiển bằng các chương trình do GPT-4 tự viết.

---

Thí nghiệm bắt đầu như thế nào?

Các nhà nghiên cứu chọn Minecraft vì đây là môi trường mở. Trong Minecraft, không có một đường đi duy nhất. Người chơi có thể chặt cây, đào đá, săn thức ăn, chế tạo công cụ, chiến đấu, khám phá hang động, đi qua sa mạc, tìm kim cương hoặc xây nhà. Vì vậy, Minecraft phù hợp để kiểm tra xem một AI có thể học lâu dài và tự tích lũy kỹ năng hay không.[1]

Voyager được xây dựng trên MineDojo, một framework dành cho nghiên cứu AI trong Minecraft. Mỗi vòng hoạt động của Voyager bắt đầu bằng việc hệ thống nhìn vào tình trạng hiện tại của nhân vật: đang có gì trong túi đồ, máu và đói ra sao, đang ở biome nào, gần đó có khối gì, có sinh vật nào xung quanh, đã làm được nhiệm vụ nào và đã thất bại ở đâu.[1]

Sau đó, GPT-4 được hỏi: “Với tình trạng hiện tại, nhiệm vụ tiếp theo nên là gì để khám phá thêm nhiều thứ mới?”

Ví dụ, nếu nhân vật đang ở rừng và chưa có gì, nhiệm vụ hợp lý có thể là chặt gỗ. Nếu đã có gỗ, nhiệm vụ tiếp theo có thể là chế bàn crafting. Nếu đã có bàn crafting, AI có thể được gợi ý làm công cụ gỗ. Nếu ở gần hang, AI có thể thử đào đá hoặc tìm quặng.[1][2]

---

Bước 1: AI tự chọn mục tiêu nhỏ

Trong Voyager, AI không cố làm một nhiệm vụ quá lớn ngay từ đầu. Nó chia quá trình chơi thành nhiều mục tiêu nhỏ. Đây gọi là automatic curriculum — chương trình học tự động.[2]

Thay vì con người viết sẵn danh sách “làm bước 1, bước 2, bước 3”, Voyager dùng GPT-4 để đề xuất mục tiêu tiếp theo dựa trên tình trạng hiện tại. Mục tiêu phải vừa đủ khó: không quá dễ đến mức không học được gì, nhưng cũng không quá khó đến mức chắc chắn thất bại.[2]

Ví dụ, AI có thể đi qua chuỗi mục tiêu như sau:

1. Thu thập gỗ.
2. Chế crafting table.
3. Làm wooden pickaxe.
4. Đào cobblestone.
5. Làm stone pickaxe.
6. Tìm than hoặc sắt.
7. Chế furnace.
8. Nung sắt.
9. Làm công cụ sắt.
10. Tiến xa hơn đến kim cương.

Điểm quan trọng là AI không chỉ làm theo một kịch bản cố định. Nếu nó sinh ra ở sa mạc, nhiệm vụ có thể khác với khi nó sinh ra ở rừng. Nếu đang thiếu thức ăn, nó có thể chuyển sang tìm thức ăn. Nếu gặp nguy hiểm, nó phải xử lý nguy hiểm trước.

---

Bước 2: AI viết code để điều khiển nhân vật

Sau khi có mục tiêu, Voyager không trực tiếp bấm phím. Nó yêu cầu GPT-4 viết code điều khiển nhân vật thông qua các API có sẵn. Ví dụ, để chặt cây, code có thể ra lệnh tìm khối gỗ gần đó, đi đến vị trí phù hợp, đào khối gỗ và nhặt vật phẩm.[1]

Một kỹ năng không chỉ là một hành động ngắn. Nó có thể là một chuỗi hành động dài hơn. Ví dụ, “craftStoneShovel” có thể cần kiểm tra có đủ que gỗ không, có đủ đá không, có bàn crafting không, rồi mới chế tạo xẻng đá. Vì vậy, nhóm nghiên cứu chọn code làm không gian hành động, thay vì bắt AI dự đoán từng chuyển động nhỏ.[1]

Cách này giúp kỹ năng của Voyager dễ đọc hơn. Con người có thể nhìn vào code để biết AI đang định làm gì. Nếu code đúng, kỹ năng đó có thể được lưu lại và dùng tiếp trong các nhiệm vụ sau.

---

Bước 3: AI chạy code trong Minecraft và gặp lỗi

Nguồn ảnh: Voyager project website — hình minh họa cơ chế iterative prompting. Bên trái là lỗi thiếu nguyên liệu; bên phải là lỗi gọi sai vật phẩm “acacia_axe”, trong khi Minecraft không có item đó. Trang nguồn: https://voyager.minedojo.org/

Khi GPT-4 viết xong code, Voyager đưa code đó vào môi trường Minecraft để chạy thử. Lúc này, các lỗi bắt đầu xuất hiện.[1][2]

Có hai loại lỗi quan trọng.

Loại thứ nhất là lỗi do môi trường. Ví dụ, AI muốn chế que gỗ nhưng trong túi chưa đủ ván gỗ. Game trả về thông tin kiểu: “không thể làm stick vì còn thiếu 2 planks”. Voyager lấy thông tin đó đưa lại vào prompt cho GPT-4. GPT-4 sau đó sửa code: trước khi chế que, phải đi kiếm hoặc chế thêm ván gỗ.[2]

Loại thứ hai là lỗi do code hoặc hiểu sai luật game. Ví dụ, GPT-4 có lúc viết code để chế “acacia_axe”. Nhưng trong Minecraft không có item tên như vậy. Lỗi thực thi trả về rằng không có item đó. GPT-4 đọc lỗi và sửa lại thành “wooden_axe”.[2]

Đây là phần quan trọng nhất của thí nghiệm: AI không cần viết đúng ngay từ lần đầu. Nó được phép thử, sai, đọc lỗi, rồi sửa lại. Quá trình này giống một lập trình viên đang debug code.

---

Bước 4: AI tự kiểm tra xem nhiệm vụ đã xong chưa

Sau khi code chạy, Voyager cần biết nhiệm vụ đã thật sự hoàn thành hay chưa. Thay vì con người viết sẵn bộ kiểm tra cho từng nhiệm vụ, nhóm nghiên cứu dùng một GPT-4 khác làm vai trò người kiểm tra.[1][2]

Người kiểm tra này nhận tình trạng hiện tại của nhân vật và nhiệm vụ ban đầu. Nó trả lời xem nhiệm vụ đã hoàn thành chưa. Nếu chưa hoàn thành, nó chỉ ra lý do thất bại và gợi ý cách sửa.[2]

Ví dụ:

• Nhiệm vụ là “craft a stone shovel”.
• Sau khi chạy code, nhân vật vẫn chưa có stone shovel trong túi.
• Bộ kiểm tra nói nhiệm vụ chưa xong.
• Lý do có thể là thiếu cobblestone hoặc thiếu stick.
• GPT-4 tạo code mới để sửa.

Vòng lặp này tiếp tục cho đến khi nhiệm vụ được xác nhận là hoàn thành hoặc hệ thống quyết định chuyển hướng.

---

Bước 5: Khi làm được, AI lưu kỹ năng vào thư viện

Khi một đoạn code hoàn thành nhiệm vụ, Voyager lưu nó vào skill library — thư viện kỹ năng.[1][2]

Mỗi kỹ năng được lưu cùng mô tả. Sau này, khi gặp nhiệm vụ tương tự, Voyager không cần học lại từ đầu. Nó có thể tìm trong thư viện những kỹ năng gần giống nhất rồi dùng lại hoặc ghép nhiều kỹ năng lại với nhau.[2]

Ví dụ, nếu Voyager đã học được kỹ năng “chặt cây” và “chế crafting table”, thì khi cần làm wooden pickaxe, nó có thể dùng lại các kỹ năng đó thay vì viết lại từ đầu. Khi kỹ năng tăng dần, các nhiệm vụ phức tạp hơn cũng trở nên dễ hơn.

Đây là lý do Voyager tiến bộ qua thời gian. Nó không chỉ trả lời từng lượt rồi quên. Nó giữ lại các kỹ năng đã hoạt động tốt, rồi dùng chúng làm nền cho kỹ năng mới.

---

Bước 6: AI tiếp tục sang nhiệm vụ mới

Sau khi lưu kỹ năng, Voyager quay lại bước đầu tiên: nhìn trạng thái hiện tại, nhìn những gì đã làm được, nhìn những gì thất bại, rồi yêu cầu GPT-4 chọn mục tiêu tiếp theo.[2]

Vòng lặp tổng thể là:

1. Nhìn tình trạng hiện tại trong Minecraft.
2. Chọn nhiệm vụ nhỏ tiếp theo.
3. Tìm kỹ năng cũ có liên quan.
4. Viết code điều khiển nhân vật.
5. Chạy code.
6. Nhận phản hồi từ game và lỗi thực thi.
7. Sửa code.
8. Tự kiểm tra kết quả.
9. Nếu thành công, lưu kỹ năng.
10. Chuyển sang nhiệm vụ mới.

Cứ như vậy, Voyager dần khám phá thế giới Minecraft. Nó không học bằng cách cập nhật trọng số của GPT-4. GPT-4 vẫn là mô hình hộp đen. Điều được tích lũy là thư viện kỹ năng, lịch sử nhiệm vụ và kinh nghiệm qua prompt.[1][2]

---

Những lỗi xuất hiện trong quá trình AI chơi

Thí nghiệm không diễn ra theo kiểu AI làm gì cũng đúng. Một phần quan trọng của Voyager là nó liên tục mắc lỗi và sửa lỗi.

Các lỗi tiêu biểu gồm:

• AI muốn chế vật phẩm nhưng thiếu nguyên liệu.
• AI gọi sai tên vật phẩm.
• AI viết code dùng item không tồn tại.
• AI lên kế hoạch quá khó so với tài nguyên hiện có.
• AI cần quay lại bước thấp hơn, như kiếm gỗ hoặc đá trước khi chế công cụ.
• AI có lúc cần tự kiểm tra lại vì tưởng đã xong nhưng thực tế chưa có vật phẩm trong túi.
• AI cần dùng lại kỹ năng cũ thay vì viết lại từ đầu.

Những lỗi này được đưa trở lại cho GPT-4. Nhờ đó, GPT-4 có thể sửa code ở vòng tiếp theo. Điểm hay của thí nghiệm không phải là AI không bao giờ sai, mà là hệ thống biến lỗi thành tín hiệu học.

---

Kết quả sau nhiều vòng thử nghiệm

Nguồn ảnh: Voyager project website — bảng kết quả tech tree mastery. Ảnh cho thấy Voyager mở khóa các mốc công cụ trong Minecraft hiệu quả hơn các baseline. Trang nguồn: https://voyager.minedojo.org/

Theo paper, Voyager đạt kết quả tốt hơn các phương pháp so sánh trong nhiều chỉ số.[1][2]

Kết quả chính:

• Voyager thu được nhiều hơn 3,3 lần số item độc nhất so với các hệ thống so sánh trước đó.[1][2]
• Voyager đi được xa hơn 2,3 lần trong bản đồ Minecraft, cho thấy nó khám phá rộng hơn.[1][2]
• Voyager mở khóa các mốc quan trọng trong tech tree nhanh hơn, trong đó mốc công cụ gỗ nhanh hơn đến 15,3 lần, mốc công cụ đá nhanh hơn 8,5 lần, mốc công cụ sắt nhanh hơn 6,4 lần, và là hệ thống duy nhất trong bảng thử nghiệm mở được mốc diamond tool.[2]
• Khi chuyển sang một thế giới Minecraft mới, Voyager có thể dùng lại thư viện kỹ năng để giải quyết các nhiệm vụ chưa từng thấy, trong khi nhiều baseline không làm được trong giới hạn số vòng nhắc được đặt ra.[2]

Nói dễ hiểu: Voyager không chỉ may mắn trong một màn chơi. Nó tích lũy kỹ năng, rồi dùng lại kỹ năng ở thế giới mới.

---

Điều đã thực sự diễn ra trong thí nghiệm

Nếu kể lại như một câu chuyện, Voyager bắt đầu như một người chơi mới. Nó không có mục tiêu cụ thể ngoài việc khám phá càng nhiều càng tốt. Lúc đầu, nó phải học những việc cơ bản như kiếm gỗ, chế bàn crafting và tạo công cụ. GPT-4 viết code để nhân vật làm các việc đó. Code thường sai ở lần đầu, hoặc thiếu nguyên liệu, hoặc gọi sai vật phẩm. Game trả lỗi. Voyager đưa lỗi đó lại cho GPT-4. GPT-4 sửa code. Khi code chạy đúng, kỹ năng được lưu lại.

Sau đó, Voyager dùng kỹ năng cũ làm nền cho kỹ năng mới. Có gỗ thì làm bàn crafting. Có bàn crafting thì làm công cụ. Có công cụ thì đào đá. Có đá thì làm công cụ tốt hơn. Cứ như vậy, AI đi từ thao tác đơn giản đến mục tiêu phức tạp hơn. Khi gặp nhiệm vụ mới, nó tìm kỹ năng cũ gần giống, ghép lại hoặc chỉnh sửa, rồi thử tiếp.

Kết quả cuối cùng là một AI không được huấn luyện lại trọng số, nhưng vẫn tiến bộ nhờ cách tổ chức vòng lặp: chọn mục tiêu, viết code, chạy thử, sửa lỗi, lưu kỹ năng và dùng lại kỹ năng.

---

Kết luận ngắn

Thí nghiệm Voyager cho thấy một kiểu học khác của AI agent. AI không nhất thiết phải học bằng cách cập nhật lại mô hình. Nó có thể học bằng cách tự tạo công cụ, tự sửa code, lưu kỹ năng đã thành công và dùng lại chúng trong nhiệm vụ mới.

Điều khiến Voyager dễ hiểu là quá trình của nó rất giống cách con người học chơi Minecraft: thử một việc nhỏ, sai, sửa, nhớ cách làm, rồi dùng kỹ năng đó cho việc khó hơn. Điểm khác là Voyager làm điều đó bằng GPT-4 và code.

---

SEO

Meta title: Thí nghiệm Voyager: GPT-4 tự học chơi Minecraft bằng cách viết code

Meta description: Voyager là thí nghiệm AI trong Minecraft, nơi GPT-4 tự đặt mục tiêu, viết code điều khiển nhân vật, gặp lỗi, sửa lỗi, lưu kỹ năng và khám phá thế giới tốt hơn các baseline.

Từ khóa chính: Voyager AI, GPT-4 Minecraft, thí nghiệm AI, AI agent Minecraft, embodied agent, MineDojo, skill library, automatic curriculum

Slug đề xuất: thi-nghiem-voyager-gpt-4-tu-hoc-choi-minecraft

GEO summary cho công cụ AI tìm kiếm

Voyager là thí nghiệm AI agent trong Minecraft, sử dụng GPT-4 để tự đặt mục tiêu, viết code điều khiển nhân vật, chạy thử trong môi trường game, nhận phản hồi lỗi, sửa code và lưu kỹ năng đã thành công vào thư viện. Voyager có ba phần chính: automatic curriculum để chọn nhiệm vụ tiếp theo, skill library để lưu và dùng lại kỹ năng, và iterative prompting để sửa code dựa trên lỗi môi trường, lỗi thực thi và tự kiểm tra. Trong thí nghiệm, Voyager thu được 3,3 lần nhiều item độc nhất hơn baseline, đi xa hơn 2,3 lần và mở khóa các mốc tech tree nhanh hơn đến 15,3 lần. Nó cũng có thể dùng lại thư viện kỹ năng trong thế giới Minecraft mới để giải quyết nhiệm vụ chưa từng thấy.

Nguồn tham khảo

[1] Guanzhi Wang et al. — “Voyager: An Open-Ended Embodied Agent with Large Language Models”, arXiv, 2023
https://arxiv.org/abs/2305.16291

[2] Voyager project website — “Voyager: An Open-Ended Embodied Agent with Large Language Models”
https://voyager.minedojo.org/

[3] MineDojo — Open-ended Minecraft AI framework
https://minedojo.org/

[4] Voyager components image
https://voyager.minedojo.org/assets/images/components.png

[5] Voyager feedback image
https://voyager.minedojo.org/assets/images/feedback.png

[6] Voyager tech tree image
https://voyager.minedojo.org/assets/images/tech_tree.png