
Quantização
Quantização reduz a precisão dos pesos para o modelo caber em hardware menor. FP8 sai praticamente sem perda; INT8 custa de 1% a 3% de acurácia.

Quantização reduz a precisão dos pesos para o modelo caber em hardware menor. FP8 sai praticamente sem perda; INT8 custa de 1% a 3% de acurácia.