Home lab & servers

Μου αρέσει να τρέχω τους δικούς μου servers. Το home lab είναι ο χώρος όπου δοκιμάζω ιδέες πριν φτάσουν κοντά σε production, και όπου πειραματίζομαι με ό,τι υποδομή μου τραβήξει την προσοχή.

Αυτή τη στιγμή περιλαμβάνει έναν Proxmox host για virtualisation, τρεις TrueNAS storage servers και έναν Ubuntu server. Η αποθήκευση ξεκίνησε σε OpenMediaVault· από τότε έχω μεταφέρει τα πάντα σε TrueNAS.

Αυτή τη στιγμή στον πάγκο: το Colibrì, ένα open-source inference engine γραμμένο σε καθαρή C που τρέχει τεράστια Mixture-of-Experts γλωσσικά μοντέλα σε καταναλωτικό hardware, διαβάζοντας τα βάρη των experts από δίσκο, RAM και VRAM σαν μία ενιαία ιεραρχία μνήμης. Το δοκιμάζω στον τοπικό Ubuntu server.