Open-LLM-VTuber là gì? Tạo bạn đồng hành AI Live2D chạy local trên máy tính

Nguồn ảnh: kho mã nguồn Open-LLM-VTuber, tệp assets/banner.jpg: https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/assets/banner.jpg

Tóm tắt nhanh

Open-LLM-VTuber là một dự án mã nguồn mở cho phép tạo nhân vật AI có hình đại diện Live2D, trò chuyện bằng giọng nói, nhìn camera hoặc màn hình và phản hồi bằng giọng nói. Hệ thống có thể chạy hoàn toàn trên máy tính cá nhân nếu người dùng chọn các mô hình local phù hợp.[1]

Dự án hỗ trợ Windows, macOS và Linux, đồng thời cung cấp hai cách sử dụng:

• giao diện web trong trình duyệt;
• ứng dụng desktop Electron, gồm chế độ cửa sổ và chế độ “desktop pet” nền trong suốt.[1][2]

Open-LLM-VTuber không phải là một mô hình AI duy nhất. Nó là một hệ thống ghép nhiều thành phần:

1. ASR chuyển giọng nói thành văn bản;
2. LLM/Agent xử lý nội dung và tạo câu trả lời;
3. TTS biến câu trả lời thành giọng nói;
4. Live2D frontend hiển thị nhân vật, biểu cảm và chuyển động;
5. camera hoặc chia sẻ màn hình cung cấp dữ liệu hình ảnh khi bật tính năng thị giác.[1]

Giao diện chính

Nguồn ảnh: kho mã nguồn Open-LLM-VTuber, assets/i1.jpg: https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/assets/i1.jpg

Ảnh trên cho thấy giao diện web chính. Phần bên trái là khu vực thiết lập, còn phần giữa hiển thị nhân vật Live2D trên nền tùy chọn.

Người dùng có thể thay đổi:

• ngôn ngữ giao diện;
• hình nền;
• nhân vật;
• địa chỉ WebSocket và máy chủ;
• cách nhập bằng giọng nói;
• hiển thị phụ đề;
• mô hình ASR, LLM và TTS ở phía backend.

Kho mã nguồn cũng lưu một tệp ảnh có tên mô tả rõ hơn cho chế độ ứng dụng:

Nguồn ảnh: assets/i1_app_mode.jpg: https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/assets/i1_app_mode.jpg

Hệ thống hoạt động như thế nào?

Một lượt hội thoại thường diễn ra theo chu trình sau:

1. Người dùng nói vào micro.
2. Mô-đun ASR nhận âm thanh và chuyển thành văn bản.
3. Agent ghép văn bản với prompt nhân vật, lịch sử hội thoại và dữ liệu hình ảnh nếu có.
4. LLM tạo câu trả lời.
5. Hệ thống có thể tách cảm xúc, suy nghĩ hoặc hành động khỏi phần văn bản được đọc.
6. Mô-đun TTS tổng hợp âm thanh.
7. Frontend phát giọng nói và điều khiển biểu cảm Live2D.
8. Khi người dùng ngắt lời, hệ thống dừng câu trả lời hiện tại và quay lại nghe.[1]

Dự án hỗ trợ tính năng ngắt lời không cần tai nghe. Theo README, hệ thống được thiết kế để hạn chế việc AI nghe lại chính giọng nói do loa phát ra.[1]

Desktop pet: nhân vật AI nằm trên màn hình

Nguồn ảnh: kho mã nguồn Open-LLM-VTuber, assets/i2.jpg: https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/assets/i2.jpg

Trong chế độ desktop pet, nền của cửa sổ được làm trong suốt. Nhân vật có thể nằm trên cửa sổ VS Code hoặc ứng dụng khác, luôn nổi phía trên và có thể được kéo đến vị trí mong muốn.[1]

Nguồn ảnh: assets/i2_pet_vscode.jpg: https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/assets/i2_pet_vscode.jpg

README liệt kê các khả năng của pet mode:

• nền trong suốt;
• luôn hiển thị phía trên;
• cho phép click xuyên qua khi cần;
• kéo nhân vật tới vị trí khác;
• hiển thị hộp chat nhỏ;
• phản hồi thao tác nhấp hoặc kéo;
• thay đổi biểu cảm theo nội dung phản hồi.[1]

Ứng dụng Electron cần backend Open-LLM-VTuber đang chạy. Tài liệu lưu ý ứng dụng desktop có thể hiển thị cảnh báo bảo mật vì một số bản dựng chưa được ký mã.[2]

AI có thể nhìn camera và màn hình

Nguồn ảnh: kho mã nguồn Open-LLM-VTuber, assets/i3.jpg: https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/assets/i3.jpg

Open-LLM-VTuber hỗ trợ dữ liệu hình ảnh từ:

• camera;
• ảnh chụp màn hình;
• chia sẻ màn hình;
• tệp hình ảnh do người dùng cung cấp, tùy agent và cấu hình.

Khi chia sẻ màn hình, hệ thống có thể gửi ảnh hiện tại tới một mô hình có khả năng nhìn hình ảnh. LLM sau đó trả lời dựa trên nội dung trên màn hình.[1]

Nguồn ảnh: assets/i3_browser_world_fun.jpg: https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/assets/i3_browser_world_fun.jpg

Tính năng này phụ thuộc vào mô hình LLM được chọn. Nếu dùng một mô hình chỉ hỗ trợ văn bản, dữ liệu ảnh sẽ không tạo ra khả năng phân tích hình ảnh hoàn chỉnh.

Giao diện có thể dùng nhiều nhân vật và bối cảnh

Nguồn ảnh: kho mã nguồn Open-LLM-VTuber, assets/i4.jpg: https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/assets/i4.jpg

Dự án cho phép nhập mô hình Live2D tùy chỉnh, đổi hình nền và xây dựng persona riêng bằng prompt. Người dùng có thể thay:

• ngoại hình;
• tên và cách xưng hô;
• tính cách;
• phong cách trả lời;
• giọng nói;
• biểu cảm;
• quy tắc hành vi.

Nguồn ảnh: assets/i4_pet_desktop.jpg: https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/assets/i4_pet_desktop.jpg

README cũng đề cập khả năng hiển thị “suy nghĩ”, biểu cảm và hành động mà không đọc thành tiếng; chủ động nói; lưu lịch sử chat; và dùng giọng TTS khác ngôn ngữ hội thoại, ví dụ trò chuyện bằng tiếng Trung nhưng phát giọng Nhật.[1]

Những mô hình và dịch vụ được hỗ trợ

LLM

README liệt kê nhiều lựa chọn:

• Ollama;
• OpenAI và API tương thích OpenAI;
• Claude;
• Gemini;
• Mistral;
• DeepSeek;
• Zhipu AI;
• GGUF;
• LM Studio;
• vLLM.[1]

Người dùng có thể chạy local với Ollama, LM Studio, llama.cpp hoặc backend tương tự. Nếu máy yếu, có thể dùng API cloud cho riêng phần LLM.

Nhận dạng giọng nói

Các backend ASR được đề cập gồm:

• sherpa-onnx;
• FunASR;
• Faster-Whisper;
• Whisper.cpp;
• Whisper;
• Groq Whisper;
• Azure ASR.[1]

Tổng hợp giọng nói

Các lựa chọn TTS gồm:

• sherpa-onnx;
• pyttsx3;
• MeloTTS;
• Coqui-TTS;
• GPT-SoVITS;
• Bark;
• CosyVoice;
• Edge TTS;
• Fish Audio;
• Azure TTS.[1]

Cấu trúc dạng mô-đun cho phép dùng local ở một số thành phần và API ở các thành phần khác. Ví dụ, người dùng có thể chạy ASR và LLM tại máy nhưng dùng Edge TTS qua mạng.

Cách cài đặt cơ bản

Tài liệu quick start sử dụng cấu hình mẫu:

• Ollama cho LLM;
• sherpa-onnx/SenseVoiceSmall cho ASR;
• Edge TTS cho giọng nói.[2]

Quy trình cơ bản:

1. Cài Git.
2. Cài FFmpeg.
3. Cài Python phù hợp và uv.
4. Lấy mã nguồn bằng release ổn định hoặc clone kèm submodule.
5. Cài phụ thuộc.
6. tạo hoặc sao chép conf.yaml;
7. cấu hình LLM, ASR và TTS;
8. chạy backend;
9. mở giao diện web hoặc ứng dụng Electron.[2]

Lệnh clone được tài liệu khuyến nghị:

git clone https://github.com/Open-LLM-VTuber/Open-LLM-VTuber --recursive
cd Open-LLM-VTuber
uv sync
uv run run_server.py

Sau khi backend chạy, giao diện web mặc định được mở tại:

Các lỗi thường gặp

Tải ZIP từ nút Code làm thiếu frontend

Frontend được liên kết bằng Git submodule. Tài liệu cảnh báo không nên tải ZIP từ nút Code → Download ZIP, vì gói này có thể thiếu frontend và thông tin Git cần cho cập nhật.[2]

Hậu quả thường gặp là trình duyệt hiển thị lỗi tương tự Detail Not Found.

Cách được khuyến nghị:

• tải gói ổn định từ trang Releases; hoặc
• clone với cờ --recursive.

Thiếu FFmpeg

FFmpeg là phụ thuộc bắt buộc. Nếu chưa cài hoặc không có trong PATH, ứng dụng có thể báo không tìm thấy tệp âm thanh.[2]

Sai phiên bản Python

Tài liệu khuyến nghị Python từ 3.10 đến dưới 3.13. Phiên bản ngoài phạm vi này có thể gây lỗi phụ thuộc.[2]

Đường dẫn dự án gây lỗi

Tài liệu khuyến nghị đặt dự án trong đường dẫn chỉ dùng ký tự tiếng Anh/ASCII. Đường dẫn có ký tự đặc biệt hoặc ký tự không phải Latin có thể làm một số công cụ gặp lỗi.[2]

Proxy chặn dịch vụ localhost

Nếu proxy không bỏ qua localhost, backend có thể không kết nối được Ollama, GPT-SoVITS hoặc các dịch vụ local khác.[2]

Truy cập từ thiết bị khác nhưng micro không hoạt động

Trình duyệt chỉ cho phép micro trong secure context. Khi truy cập từ máy khác qua địa chỉ mạng, người dùng cần cấu hình HTTPS, thường qua reverse proxy.[1]

Trình duyệt không tương thích hoàn toàn

Tài liệu hiện khuyến nghị Chrome và cho biết Edge hoặc Safari có thể gặp các vấn đề khác nhau.[2]

Cảnh báo ứng dụng không được ký

Bản Electron có thể bị Windows hoặc macOS cảnh báo do chưa có chữ ký mã. Người dùng cần tải đúng tệp từ trang Releases và kiểm tra nguồn trước khi chạy.[2]

Trạng thái phát triển

README cho biết nhóm đang tập trung thảo luận và lên kế hoạch cho Open-LLM-VTuber v2.0, một bản viết lại toàn bộ. Nhóm đề nghị chưa mở feature request mới cho v1, nhưng vẫn tiếp tục sửa lỗi và xử lý pull request hiện có.[1]

README cũng nói tính năng bộ nhớ dài hạn tạm thời bị loại bỏ và sẽ quay lại. Tuy nhiên, tài liệu quick start mô tả bản v1.2.0 đã có tùy chọn Letta/MemGPT cho bộ nhớ dài hạn, đổi lại độ trễ cao hơn.[1][2]

Hai thông tin này có thể phản ánh các nhánh hoặc thời điểm tài liệu khác nhau. Người dùng nên kiểm tra đúng phiên bản đang cài trước khi dựa vào tính năng bộ nhớ.

Giấy phép và quyền sử dụng hình ảnh

Mã nguồn chính được phát hành theo giấy phép MIT.[3]

Tuy nhiên, các mô hình và hình ảnh Live2D mẫu không nằm hoàn toàn dưới giấy phép MIT. Chúng chịu điều khoản riêng của Live2D và đôi khi của chủ sở hữu nhân vật bên thứ ba.[1][4]

Điều này có nghĩa:

• có thể fork và sửa mã nguồn theo MIT;
• không nên mặc định rằng mọi nhân vật Live2D trong repo được tự do dùng thương mại;
• cần đọc LICENSE-Live2D.md;
• cần giữ thông báo bản quyền phù hợp;
• ảnh chụp giao diện chứa nhân vật cũng nên được dùng với nguồn và bối cảnh rõ ràng.

Toàn bộ ảnh minh họa được trích xuất từ thư mục assets

Danh sách dưới đây gồm toàn bộ ảnh JPG hiện có trong thư mục assets tại thời điểm kiểm tra:

Banner tiếng Anh

Banner tiếng Trung

Banner tiếng Hàn

Giao diện ứng dụng

Giao diện ứng dụng — tên mô tả

Pet mode trong VS Code

Pet mode trong VS Code — tên mô tả

Chia sẻ màn hình trong trình duyệt

Chia sẻ màn hình — tên mô tả

Nhiều nhân vật và bối cảnh

Nhân vật trên desktop — tên mô tả

SEO

Meta title: Open-LLM-VTuber là gì? Tạo AI Live2D chạy local trên máy tính

Meta description: Open-LLM-VTuber là dự án mã nguồn mở kết hợp LLM, nhận dạng giọng nói, TTS và Live2D để tạo bạn đồng hành AI chạy local trên Windows, macOS và Linux.

Từ khóa chính: Open-LLM-VTuber, AI VTuber local, bạn đồng hành AI Live2D, Ollama Live2D, AI desktop pet, AI waifu local

Slug đề xuất: open-llm-vtuber-ai-live2d-chay-local

GEO summary

Open-LLM-VTuber là dự án mã nguồn mở tạo bạn đồng hành AI có nhân vật Live2D, hội thoại giọng nói, ngắt lời, thị giác qua camera hoặc màn hình và chế độ desktop pet. Hệ thống ghép ASR, LLM/Agent, TTS và frontend Live2D, hỗ trợ Windows, macOS và Linux. Người dùng có thể chạy hoàn toàn local bằng Ollama, Whisper hoặc các backend tương tự, hoặc kết hợp API cloud. Dự án hỗ trợ nhiều LLM, ASR và TTS, nhưng cần FFmpeg, đúng phiên bản Python và clone kèm submodule. Mã nguồn dùng MIT, còn mô hình Live2D mẫu có giấy phép riêng.

Nguồn tham khảo

[1] Open-LLM-VTuber — GitHub README
https://github.com/Open-LLM-VTuber/Open-LLM-VTuber

[2] Open-LLM-VTuber — Quick Start Documentation
https://docs.llmvtuber.com/docs/quick-start/

[3] Open-LLM-VTuber — MIT License
https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/LICENSE

[4] Open-LLM-VTuber — Live2D Sample Model License
https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/LICENSE-Live2D.md

[5] Open-LLM-VTuber — Live2D Guide
https://docs.llmvtuber.com/docs/user-guide/live2d/