Cómo ejecutar Ornith-1.0-9B en Fedora
Guía para correr Ornith-1.0-9B localmente en Fedora con AMD Radeon AI PRO R9700 usando llama.cpp.
Entradas, notas y experimentos con contexto temporal.
Entradas personales sobre tecnología, programación, música, IA generativa y cualquier otro asunto que merezca una nota.
Guía para correr Ornith-1.0-9B localmente en Fedora con AMD Radeon AI PRO R9700 usando llama.cpp.
Cómo Tri Dao resolvió los tres cuellos de botella de los SSMs en inferencia con una idea simple: guardar los inputs recientes en un buffer en lugar de actualizar el estado recurrente cada paso.
Una nota inicial para abrir el blog.