#prism-ml

27Bパラメータのニューラルネットワークを通常のiPhoneや家庭用PCで実行する方法

Bonsai-27Bは1ビットおよび三元量子化を使用し、27Bパラメータのモデルをわずか3.5GBのRAMに収めることで、离散GPUのないiPhoneやノートPCでも実行可能にします。