Mã gốc kỹ thuật LoRA của Microsoft — nền tảng của hầu hết cách fine-tune LLM tiết kiệm hiện nay.
Đây là repo chính thức giới thiệu LoRA (Low-Rank Adaptation) — kỹ thuật chỉ chèn một số ít tham số 'thấp hạng' để thích ứng model lớn thay vì huấn luyện lại toàn bộ. Ý tưởng này đã trở thành chuẩn mực cho fine-tune hiệu quả và là cơ sở cho QLoRA, PEFT. Repo kèm mã và ví dụ áp dụng.
Tải & chạy các mô hình LLM ngay trên máy bạn — trái tim cấp trí tuệ cho cả nhà máy.
Các bước cơ bản để bắt đầu.
Clone repo và đọc hướng dẫn trong READMECài `pip install loralib`Thay lớp Linear bằng `lora.Linear` theo ví dụTải & chạy LLM (Llama, Mistral, Qwen…) cục bộ chỉ bằng một lệnh; có API tương thích OpenAI.
Chạy LLM cực nhẹ trên CPU/GPU thường, kể cả máy yếu; nền tảng cho hầu hết công cụ chạy AI cục bộ.
