1. LoRA là low-ranking-adaptation. Là một kĩ thuật trong finetuning AI model. 2. LoRA là kĩ thuật phổ biến nhất hiện nay trong các phương pháp tối ưu tham số (peft) của finetuning. 3. Điểm mạnh : - Không tinh chỉnh base model. - Rất nhẹ, chi phí tối ưu để huấn luyện. - Linh hoạt, dễ tháo lắp như dạng module. Ví dụ: Llama (13B) với 16 bits - cần 26 GB memory cho model’s weight. Khi áp dụng LoRA, thay vì train với 13B tham số - ta chỉ train với khoảng 3 triệu. Do số lượng tham số cần train ít hơn

Heltec WiFi LoRa 32(V3) Dev-board with SX1262 ESP32 LORA node wireless shell stick lora gateway

Go Lora: Understanding Cultural Expressions in Context

Meet Seeed Studio XIAO, Tiny But Powerful MCUs

Making Next Gadget | Launching New reTerminal E Series ePaper Display

Customize Hardware + Deploy Ultralytics YOLO11 with Node-RED Dashboard=Build Vision AI with reCamera

عالم لورا World Lora (@worldlora)’s videos with original sound - عــبــدالــلـــه

#LoraLife