ReplaySSM: Cachear Inputs, No Estado
Cómo Tri Dao resolvió los tres cuellos de botella de los SSMs en inferencia con una idea simple: guardar los inputs recientes en un buffer en lugar de actualizar el estado recurrente cada paso.
Cómo Tri Dao resolvió los tres cuellos de botella de los SSMs en inferencia con una idea simple: guardar los inputs recientes en un buffer en lugar de actualizar el estado recurrente cada paso.