Python
Schnelle Inferenz für Sprach- und multimodale Modelle mit SGLang-Omni einrichten
SGLang-Omni bietet eine spezialisierte Runtime für mehrstufige Inferenz von Sprach- und multimodalen Modellen und bewältigt die komplexe Pipeline von der Audio-Kodierung bis zur Sprachsynthese.