AI tuần này: Từ model 'open-weights' cho đến việc chạy LLM trên phần cứng 13 năm tuổi

Chào anh em, tuần này làng AI lại có vài món "đồ chơi" mới cực kỳ thú vị. Không chỉ là những con số benchmark khô khan, mà là sự chuyển dịch sang việc cho phép chúng ta thực sự sở hữu, tùy biến và chạy model ngay trên dàn máy cũ kỹ ở nhà. Hãy cùng Vahoon điểm qua những tin tức đáng chú ý nhất.

Inkling: Model "open-weights" với tham vọng tùy biến

Inkling vừa xuất hiện như một làn gió mới cho anh em thích vọc vạch. Đây là Mixture-of-Experts transformer với 975B tham số (41B active) và hỗ trợ context window lên tới 1M tokens. Điểm đáng tiền nhất không phải là nó mạnh nhất, mà là "open-weights" — cho phép chúng ta fine-tune thoải mái trên nền tảng Tinker.

Họ còn chơi lớn khi cho model tự fine-tune chính nó. Với khả năng xử lý đa phương thức (văn bản, ảnh, âm thanh), Inkling hướng tới việc trở thành một foundation model linh hoạt cho nhiều workflow khác nhau thay vì chỉ làm tốt một việc duy nhất. Đây là lựa chọn sáng giá nếu anh em đang tìm một base model để xây dựng sản phẩm riêng.

Grok Build: Terminal-based AI coding agent

Nếu anh em đã chán cảnh phải switch qua lại giữa IDE và trình duyệt để hỏi AI, thì Grok Build (từ x.ai) là thứ đáng thử. Đây là một TUI (Terminal User Interface) chạy ngay trong terminal, cho phép AI hiểu codebase, chỉnh sửa file, chạy lệnh shell và thậm chí là duyệt web.

Được viết bằng Rust, nó khá nhẹ và có thể chạy headless để tích hợp vào CI/CD. Việc nó hỗ trợ Agent Client Protocol (ACP) cho thấy hướng đi nghiêm túc trong việc tích hợp sâu vào workflow của lập trình viên thay vì chỉ là một chatbot đơn thuần. Anh em dùng Linux/macOS có thể cài nhanh qua terminal để trải nghiệm.

Chạy Gemma 4 trên dàn máy "cổ lỗ sĩ"

Câu chuyện này thực sự truyền cảm hứng cho những ai thích "nghịch" phần cứng. Một dev đã thành công chạy Gemma 4 (26B) trên con server HP StoreVirtual từ năm 2013, không GPU, chỉ có CPU Xeon cũ kỹ. Kết quả là 5 tokens/giây — tốc độ đủ để đọc hiểu.

Bí kíp ở đây là tối ưu hóa lại các kernel để chạy trên tập lệnh AVX1 (thay vì bắt buộc phải có AVX2/FMA3). Đây là minh chứng cho việc "AI giỏi" không chỉ là biết trả tiền mua API, mà là hiểu rõ kiến trúc, biết tối ưu và ép những linh kiện cũ kỹ phải làm việc cho mình. Nếu anh em có dàn máy cũ bỏ xó, đây là động lực để tái sử dụng chúng.

Takeaway

Tuần này cho thấy một xu hướng rõ ràng: AI đang dần "bình dân hóa". Chúng ta không còn phụ thuộc hoàn toàn vào các "hộp đen" API nữa. Từ việc tự chạy model trên máy cũ đến việc tùy biến model "open-weights", quyền kiểm soát đang dần quay lại tay anh em developer. Đừng ngại thử nghiệm, biết đâu con server cũ ở góc nhà lại trở thành trợ lý đắc lực đấy!

Nguồn tham khảo

• Inkling: Our Open-Weights Model
• Grok Build is open source
• Running Gemma 4 26B on 13-year-old Xeon