mendableai/firecrawl

Firecrawl cào một trang hoặc cả website và trả về nội dung sạch, sẵn cho LLM ở dạng Markdown/JSON. Nó xử lý được trang JavaScript, phân trang và cả trích xuất có cấu trúc theo schema. Dùng để nạp dữ liệu web vào RAG, nghiên cứu đối thủ, hay tổng hợp thông tin tự động.

• Cào 1 trang hoặc crawl cả site thành dữ liệu sạch
• Xuất Markdown/JSON sẵn cho LLM
• Xử lý trang JS, trích xuất có cấu trúc
• Có API & SDK, self-host được

1. 1
   Dùng cloud API hoặc self-host theo hướng dẫn repo
2. 2
   Lấy API key, gọi endpoint `scrape`/`crawl`
3. 3
   Nhận Markdown/JSON để đưa vào pipeline AI