Một cổng gọi 100+ nhà cung cấp LLM (OpenAI, Anthropic, Gemini, local…) bằng cùng một cú pháp.
LiteLLM là lớp trung gian giúp bạn gọi hơn 100 LLM khác nhau qua đúng một định dạng OpenAI. Bạn có thể đổi model chỉ bằng đổi tên, đặt hạn mức chi phí, ghi log, retry và cân tải giữa nhiều nhà cung cấp. Có cả proxy server để quản lý key và ngân sách cho cả team.
Tải & chạy các mô hình LLM ngay trên máy bạn — trái tim cấp trí tuệ cho cả nhà máy.
Các bước cơ bản để bắt đầu.
Cài `pip install litellm`Đặt biến môi trường key của nhà cung cấpGọi `completion(model='gpt-4o', messages=[...])`Hoặc bật proxy: `litellm --config config.yaml`Tải & chạy LLM (Llama, Mistral, Qwen…) cục bộ chỉ bằng một lệnh; có API tương thích OpenAI.
Chạy LLM cực nhẹ trên CPU/GPU thường, kể cả máy yếu; nền tảng cho hầu hết công cụ chạy AI cục bộ.
