糖心vlog官网观看

Generative KI-Modelle, wie z. B. gro脽e Sprachmodelle, 眉bersteigen oft die M枚glichkeiten von Consumer-Hardware und sind teuer in der Ausf眉hrung. Die Komprimierung von Modellen durch Methoden wie die Quantisierung macht sie effizienter, schneller und zug盲nglicher. Dadurch k枚nnen sie auf einer Vielzahl von Ger盲ten ausgef眉hrt werden, darunter Smartphones, PCs und Edge-Ger盲te, und die Leistungseinbu脽en werden minimiert. Nehmen Sie an diesem Kurs teil, um: 1. Jedes Open Source Modell mit linearer Quantisierung unter Verwendung der Quanto Bibliothek zu quantisieren. 2. Erhalten Sie einen 脺berblick dar眉ber, wie lineare Quantisierung implementiert wird. Diese Form der Quantisierung kann zur Komprimierung beliebiger Modelle eingesetzt werden, einschlie脽lich LLMs, Visionsmodelle usw. 3. Wenden Sie "Downcasting", eine weitere Form der Quantisierung, mit der Transformers-Bibliothek an, die es Ihnen erm枚glicht, Modelle in etwa der H盲lfte ihrer normalen Gr枚脽e in den BFloat16-Datentyp zu laden. Am Ende dieses Kurses werden Sie 眉ber ein Fundament an Quantisierungstechniken verf眉gen und in der Lage sein, diese anzuwenden, um Ihre eigenen generativen KI-Modelle zu komprimieren und zu optimieren und sie so zug盲nglicher und effizienter zu machen.