Python
So optimieren Sie ein 8B-Neuronales Netz auf einem Laptop mit einer 4-GB-GPU
Ein praktischer Leitfaden zum Fine-Tuning von 8B-Modellen auf Consumer-Hardware mit Soup – einem CLI-Tool mit Layer-Streaming und automatisierten Pipelines.
#gguf
2 Projekte C-plus-plus
Spracherkennung auf beliebiger Hardware ohne Python-Abhängigkeiten und Kopfschmerzen ausführen
transcribe.cpp ist eine leichtgewichtige C/C++-Bibliothek für Spracherkennung, die auf beliebiger Hardware ohne Python-Abhängigkeiten läuft. Unterstützt 16 Modellfamilien, mehrere Backends und GGUF-Quantisierung.