Shell
So führen Sie ein neuronales Netz mit 27 Milliarden Parametern auf einem normalen iPhone oder Heim-PC aus
Bonsai-27B nutzt 1-Bit- und ternäre Quantisierung, um ein 27-Milliarden-Parameter-Modell in nur 3,5 GB RAM zu packen, sodass es auf iPhones und Laptops ohne dedizierte GPUs lauffähig ist.