Mô hình chat song ngữ Trung–Anh 6 tỉ tham số, chạy được trên máy tiêu dùng, tối ưu hội thoại.
ChatGLM-6B là mô hình đối thoại mã nguồn mở do đại học Thanh Hoa phát triển, mạnh về song ngữ Trung–Anh. Nhờ lượng tử hoá, nó chạy được trên card đồ hoạ phổ thông (chỉ vài GB VRAM). Đây là lựa chọn nhẹ, dễ tinh chỉnh cho các ứng dụng chatbot cần triển khai cục bộ.
Tải & chạy các mô hình LLM ngay trên máy bạn — trái tim cấp trí tuệ cho cả nhà máy.
Các bước cơ bản để bắt đầu.
Clone repo, cài `pip install -r requirements.txt`Tải trọng số model từ Hugging FaceChạy `python web_demo.py` để thử giao diện chatTải & chạy LLM (Llama, Mistral, Qwen…) cục bộ chỉ bằng một lệnh; có API tương thích OpenAI.
Chạy LLM cực nhẹ trên CPU/GPU thường, kể cả máy yếu; nền tảng cho hầu hết công cụ chạy AI cục bộ.
