Thư viện tối ưu huấn luyện/suy luận model cực lớn của Microsoft: tiết kiệm bộ nhớ, tăng tốc mạnh.
DeepSpeed là thư viện tối ưu hoá cho phép huấn luyện và phục vụ các model rất lớn hiệu quả hơn nhiều, nhờ các kỹ thuật như ZeRO (phân mảnh trạng thái tối ưu) và offload bộ nhớ. Nó giúp huấn luyện model lớn trên ít GPU hơn và tăng tốc suy luận. Là nền tảng phía sau nhiều hệ thống huấn luyện quy mô lớn.
Tải & chạy các mô hình LLM ngay trên máy bạn — trái tim cấp trí tuệ cho cả nhà máy.
Các bước cơ bản để bắt đầu.
Cài `pip install deepspeed`Thêm file cấu hình ZeRO vào script huấn luyệnChạy bằng `deepspeed train.py --deepspeed ds_config.json`Tải & chạy LLM (Llama, Mistral, Qwen…) cục bộ chỉ bằng một lệnh; có API tương thích OpenAI.
Chạy LLM cực nhẹ trên CPU/GPU thường, kể cả máy yếu; nền tảng cho hầu hết công cụ chạy AI cục bộ.
