Álvaro García Pizarro

Álvaro García Pizarro

AI Engineer

← Volver a la newsletter

Load balancers aplicados a inferencia de IA, LLMs

Tradicionalmente, si tienes un front hecho en Node y desplegado en un Nginx puedes escalarlo con un Load balancer sencillo estilo round-robin pero, ¿podemos hacer lo mismo con modelos de lenguaje?

Artículo publicado originalmente en Substack.