Justine Tunney booste encore une fois les performances de llama.cpp

1

Publié initialement à : Justine Tunney booste encore une fois les performances de llama.cpp

Justine Tunney a développé de nouveaux kernels d’algèbre linéaire pour llama.cpp, boostant les performances jusqu’à 5 fois sur CPU. Ses optimisations tirent parti des dernières instructions vectorielles des processeurs Intel, AMD et ARM.

1 « J'aime »