Qué hay dentro de una respuesta
Entre que la persona termina de hablar y la voz empieza a sonar pasan tres cosas en cadena: el reconocimiento de voz convierte el audio en texto, el modelo de lenguaje decide qué contestar, y la síntesis convierte esa respuesta en audio. Cada pieza tarda, y las tres se suman.
En SARI esa cadena completa responde en unos 600 ms, y en unos 160 ms cuando la pregunta ya está en su banco de respuestas y no hace falta pensarla. Abrir la sesión, hasta el primer audio, cuesta 57 ms de mediana. Son cifras del motor, medidas en el servidor.
Por qué 600 ms y no dos segundos
En una conversación hablada entre personas, el turno cambia en unos pocos cientos de milisegundos. Más allá de un segundo el que llama empieza a dudar de si lo oyeron; a los dos segundos repite la frase o cuelga. Por eso la cifra importa en milisegundos: no es un número de marketing, es el umbral a partir del cual la conversación deja de sentirse como tal.
Dejarse interrumpir también es latencia
A eso se le llama barge-in: si la persona habla mientras la voz está respondiendo, la voz se calla y escucha. Parece un detalle y es lo que separa una conversación de un contestador. Para hacerlo por altavoz hace falta cancelación de eco, porque si no, la voz se interrumpe a sí misma al oírse por el micrófono.
El demo público mide esto en vivo: el tiempo que muestra es desde que terminas de hablar hasta que suenan las primeras muestras de la respuesta, con reconocimiento, modelo y síntesis incluidos.
Lo que la red suma según dónde estés
Las cifras del motor se miden en el servidor. Lo que el visitante siente suma la ida y vuelta de red hasta el nodo: desde Colombia hasta Helsinki son unas décimas de segundo más; desde Europa, casi nada. Por eso en el demo la latencia se ve distinta según el país, y por eso un despliegue serio elige la jurisdicción del nodo también por cercanía a quien llama.
Cuando un proveedor se demora
Reconocimiento, modelo y síntesis son de proveedores distintos, y cualquiera puede tener un mal momento. En SARI, si el primario tarda más de 450 ms entra el suplente: ninguna pieza es punto único de falla. No hace que la respuesta sea más rápida en promedio; hace que el peor caso no sea una llamada muda.