Shell
Comment exécuter un réseau de neurones de 27 milliards de paramètres sur un iPhone ordinaire ou un PC domestique
Bonsai-27B utilise une quantification 1-bit et ternaire pour faire tenir un modèle de 27 Md de paramètres dans seulement 3,5 Go de RAM, le rendant exécutable sur des iPhones et ordinateurs portables sans GPU dédié.