Nền tảng huấn luyện, phục vụ & đánh giá chatbot; nơi ra đời Vicuna và Chatbot Arena.
FastChat là bộ công cụ mở để triển khai và đánh giá các chatbot LLM. Nó cung cấp server phục vụ model với API tương thích OpenAI, giao diện web để chat, và hệ thống 'Arena' so kè hai model một cách công bằng. Đây là dự án đứng sau model Vicuna nổi tiếng và bảng xếp hạng Chatbot Arena.
Tải & chạy các mô hình LLM ngay trên máy bạn — trái tim cấp trí tuệ cho cả nhà máy.
Các bước cơ bản để bắt đầu.
Cài `pip install fschat`Bật controller: `python -m fastchat.serve.controller`Nạp model worker + `openai_api_server` để có APITải & chạy LLM (Llama, Mistral, Qwen…) cục bộ chỉ bằng một lệnh; có API tương thích OpenAI.
Chạy LLM cực nhẹ trên CPU/GPU thường, kể cả máy yếu; nền tảng cho hầu hết công cụ chạy AI cục bộ.
