Load balancers aplicados a inferencia de IA, LLMs
Tradicionalmente, si tienes un front hecho en Node y desplegado en un Nginx puedes escalarlo con un Load balancer sencillo estilo round-robin pero, ¿podemos hacer lo mismo con modelos de lenguaje?

Álvaro García Pizarro
AI Engineer
Tradicionalmente, si tienes un front hecho en Node y desplegado en un Nginx puedes escalarlo con un Load balancer sencillo estilo round-robin pero, ¿podemos hacer lo mismo con modelos de lenguaje?