A menudo se asocia la inteligencia artificial con entrenar modelos, con grandes volúmenes de datos y con sesiones interminables de cálculo, pero el valor práctico aparece cuando ese sistema ya ha aprendido y empieza a responder. Ahí entra en juego la inferencia: la fase en la que un modelo ya entrenado se aplica a datos nuevos para predecir, clasificar, recomendar o generar contenido. Es lo que ocurre cuando un chatbot contesta, cuando un coche detecta un peatón o cuando una plataforma sugiere el siguiente vídeo que vas a ver.
Conviene verla como una etapa operativa, no como un experimento de laboratorio. La inferencia condiciona la latencia, el gasto de infraestructura, la experiencia de usuario y hasta el cumplimiento de requisitos de privacidad. Dicho de otro modo, es el puente que lleva el aprendizaje automático desde las pruebas hasta la producción y el punto en el que un modelo demuestra si de verdad sirve para algo.
Entrenamiento e inferencia: dos fases que se necesitan
Durante el entrenamiento, un modelo de aprendizaje automático hace predicciones sobre lotes de ejemplos y compara esos resultados con la respuesta esperada. En aprendizaje supervisado, una función de pérdida mide el error medio de cada predicción y un algoritmo de optimización actualiza los parámetros para reducirlo. Ese ciclo se repite hasta que la pérdida llega a un nivel aceptable. En aprendizaje por refuerzo el planteamiento es parecido, aunque el objetivo pasa por maximizar una función de recompensa en lugar de minimizar una pérdida. En ambos casos hay una pasada hacia delante para generar una salida y una pasada hacia atrás para calcular mejoras en los parámetros.
La inferencia, en cambio, se queda con lo aprendido y lo utiliza. El modelo recibe datos del mundo real, los procesa con unos pesos que ya no cambia y produce una respuesta. Solo hay una pasada hacia delante, sin actualización de parámetros, porque el propósito no es seguir aprendiendo en ese momento sino obtener el resultado más adecuado para una entrada nueva. Esa es la diferencia esencial: el entrenamiento construye el conocimiento y la inferencia lo aprovecha.
Tampoco son fases completamente aisladas. Un motor de recomendación de una red social puede llegar ya entrenado con grandes conjuntos de datos sobre comportamiento de usuarios y, aun así, seguir ajustándose a los hábitos individuales de cada persona para refinar sus sugerencias. Hay sistemas que combinan inferencia continua con pequeños reajustes posteriores, de modo que la frontera entre ambas etapas no siempre es rígida.
Qué ocurre cuando un modelo infiere

El recorrido empieza con los datos de entrada. Antes de que el modelo los use, suelen pasar por un preprocesamiento que los adapta al formato esperado: tokenización en el caso del texto, redimensionado, normalización o filtrado en imágenes y audio. El objetivo es que la entrada llegue limpia y en el formato correcto para que el motor pueda ejecutarla sin sorpresas.
Después llega la ejecución del modelo propiamente dicha. La entrada atraviesa las capas de la red con los pesos fijos aprendidos durante el entrenamiento y produce valores de salida que representan predicciones, probabilidades o representaciones internas. El resultado puede ser una etiqueta, una frase generada, una caja delimitadora o una puntuación, según la tarea. En modelos de lenguaje, por ejemplo, se van calculando tokens; en visión artificial, se localizan objetos o se clasifican imágenes.
El último tramo es el posprocesamiento. Ahí se traducen los valores crudos en algo que el sistema pueda usar: convertir registros en clases, decodificar símbolos para que se lean como texto, formatear la salida para una interfaz o preparar una respuesta para una API posterior. La inferencia útil no termina en el modelo, sino en un resultado comprensible y accionable. Además, en producción se añaden monitorización, registro y limitación de peticiones para mantener el rendimiento estable.
Todo esto puede ocurrir de forma síncrona o asíncrona. La ejecución síncrona espera la respuesta antes de continuar; la asíncrona permite encolar trabajos y procesarlos después. En muchas aplicaciones el usuario no ve la inferencia directamente, sino que la experimenta a través de una web, una API o un chatbot. La interfaz oculta la maquinaria, pero la calidad de la inferencia se nota en cada respuesta.
Tipos de inferencia según el escenario
La inferencia en tiempo real, también llamada en línea, responde al instante a una petición o a un evento externo. Se usa en asistentes virtuales, chatbots, detección de fraude o recomendaciones. Exige latencia muy baja y alta disponibilidad, y a menudo necesita aceleración por GPU y escalado automático. La rapidez aquí no es un lujo, forma parte de la utilidad.
La inferencia por lotes procesa grandes volúmenes de datos a intervalos programados. Encaja en segmentación de clientes, puntuación crediticia, etiquetado de contenido o análisis financiero nocturno. No necesita responder en milisegundos, pero sí optimizar el rendimiento y el coste por operación. Es la opción rentable cuando la urgencia es baja y el volumen es alto.
La inferencia perimetral ejecuta el modelo en dispositivos locales, como móviles, sensores de internet de las cosas, robots o sistemas embebidos. Reduce la latencia, mejora la privacidad, permite funcionar sin conexión y disminuye el consumo de ancho de banda. Se emplea en conducción autónoma, cámaras inteligentes, asistentes de voz sin conexión, control de calidad industrial o monitorización de salud. El dato se queda cerca de donde se genera y la respuesta casi no sale del dispositivo.
La inferencia de streaming trabaja con flujos continuos de datos y busca un rendimiento constante. Aparece en análisis de vídeo, detección de anomalías o transcripción de voz. Mientras que la inferencia perimetral y en tiempo real priorizan la respuesta inmediata, la por lotes y la de streaming ponen el foco en la escalabilidad, el rendimiento sostenido y la continuidad del flujo. Cada tipo responde a necesidades empresariales distintas y obliga a equilibrar latencia, coste y complejidad.
Componentes y plataformas que sostienen la inferencia

En el centro está el modelo entrenado: una red neuronal, un transformador, un árbol de decisión u otra arquitectura que contiene los pesos y la estructura necesarios para procesar entradas. A su lado aparece el motor de inferencia o tiempo de ejecución, encargado de ejecutar el modelo y devolver la salida. Herramientas como ONNX Runtime, TensorRT, TFLite o vLLM están optimizadas para hardware concreto y pueden mejorar latencia y rendimiento. Elegir bien el motor importa tanto como elegir bien el modelo.
Debajo está la infraestructura de hardware. Las GPU se usan mucho en aprendizaje profundo, mientras que las CPU, las TPU o aceleradores específicos como AWS Inferentia encuentran su hueco en determinados entornos. La selección depende de la carga de trabajo, la latencia exigida y el presupuesto. Encima se sitúa la capa de servicio, que expone el modelo como API o contenedor e incorpora balanceadores de carga y escalado automático. La observabilidad cierra el círculo al medir latencia, errores, uso de recursos y volumen de peticiones.
Los retos de llevar esto a escala son bien conocidos. La latencia afecta especialmente a los sistemas en tiempo real; la optimización de recursos se complica con modelos grandes y múltiples inquilinos; la escalabilidad exige responder a picos de tráfico sin degradar el servicio. A esto se suman la seguridad, el control de versiones y la coherencia de la implementación. Equilibrar velocidad, coste y escala es el gran rompecabezas de la inferencia en producción.
Plataformas de inferencia gestionada

TrueFoundry se presenta como una plataforma avanzada para desplegar y escalar grandes modelos lingüísticos. Su arquitectura nativa de Kubernetes, su puerta de enlace unificada compatible con más de 250 modelos y su soporte para vLLM, TGI y modelos propios permiten servir variantes como Mistral, Llama o Claude mediante una API compatible con OpenAI. Incorpora procesamiento por lotes, streaming de tokens, caché KV y escalado automático de GPU para mantener la latencia baja incluso con alta concurrencia. También añade versionado, enrutamiento, respaldo entre modelos, limitación por tokens y observabilidad detallada, además de integración con SSO, RBAC, CLI y bases de datos vectoriales para copilotos, asistentes y canalizaciones RAG.
Together AI ofrece APIs alojadas para modelos abiertos como Mistral, Mixtral o Llama 2, con bajo coste de configuración y rendimiento pensado para producción. Es una opción cómoda para equipos que quieren modelos potentes sin gestionar la infraestructura, y permite despliegues personalizados y ajuste fino mediante su SDK. Su foco está en la baja latencia y el alto rendimiento para cargas exigentes.
DeepInfra facilita servir modelos abiertos a través de APIs escalables, sin que el desarrollador tenga que administrar la infraestructura. Permite alojar modelos o traer el propio, y destaca por su simplicidad y su enfoque rentable. Es una alternativa interesante para equipos pequeños o startups que quieren prototipar funciones de IA con rapidez. La facilidad de uso y el control del gasto son sus principales argumentos.
Hugging Face ofrece puntos finales de inferencia gestionados para modelos alojados en su plataforma. Con unos pocos clics se puede desplegar un modelo en infraestructura escalable, con escalado automático, opciones de seguridad y contenedores Docker personalizados. Resulta especialmente cómodo para quienes ya trabajan dentro de su ecosistema de desarrollo y experimentación. La integración con el catálogo de modelos y el despliegue rápido simplifican mucho el día a día.
Inferencia local y Edge AI: cuándo tiene sentido

Ejecutar la inferencia en local tiene ventajas claras: privacidad y seguridad, porque los datos no salen a servidores externos; costes más predecibles, al evitar modelos de pago por uso; ausencia de límites de cuota; funcionamiento sin internet; y, en algunos casos, menor latencia. Ahora bien, no siempre es la mejor idea, porque implica inversión en hardware, mantenimiento y consumo eléctrico. Merece la pena hacer números antes de montar una estación de IA en casa o en la oficina. Un equipo en reposo consume poco, pero tenerlo encendido las veinticuatro horas puede notarse en la factura; una opción intermedia es suspenderlo y despertarlo con Wake on Lan cuando haga falta.
Para inferencia local, la GPU es clave porque su arquitectura paralela maneja bien los cálculos matriciales. La VRAM es uno de los factores más importantes: si permite cargar todo el modelo en la tarjeta, se evita recurrir a la RAM del sistema y la velocidad mejora mucho. También cuentan la velocidad de reloj, el ancho de banda de memoria, el número de núcleos y la generación de la GPU. El soporte software marca diferencias: CUDA y TensorRT han madurado mucho en el ecosistema NVIDIA. La elección depende del presupuesto y del tamaño de modelo que se quiera mover.
En gama alta profesional encontramos NVIDIA H100, L40S o RTX 6000 Ada, con hasta 80 GB de memoria, y alternativas AMD como Instinct MI300X, MI325X o MI355X, que llegan a 288 GB con memoria HBM. En consumo destacan la RTX 5090 con 32 GB DDR7, la RTX 4090 con 24 GB o la RTX 4060 Ti de 16 GB; en AMD aparecen la Radeon RX 7900 XTX con 24 GB DDR6 RDNA 3, la RX 9000 con 16 GB DDR6 RDNA 4 y la Radeon AI PRO R9700 con 32 GB. También se puede inferir en CPU, pero el proceso suele ser lento y conviene usarla como respaldo cuando la GPU se queda sin VRAM y toca descargar parte del modelo a la memoria del sistema.
Los modelos se pueden clasificar por su orientación: base o fundacional, instruct, code y chat. Los base aprenden a completar lenguaje; los instruct se afinan para seguir instrucciones; los code se especializan en programación; y los chat se optimizan para conversaciones de varios turnos, a menudo con aprendizaje por refuerzo a partir de retroalimentación humana. También importan el tamaño, la cuantificación —de FP32 a INT8 o incluso 4 bits—, el formato —GGUF para llama.cpp y CPU, GPTQ para GPU, Safetensors como base segura— y la arquitectura —transformadores, redes convolucionales o redes recurrentes—. Combinar bien estas piezas permite ejecutar modelos potentes en hardware muy distinto.
Herramientas para probar inferencia en local
LM Studio es una aplicación de escritorio que permite descargar, configurar y ejecutar modelos de lenguaje en el ordenador sin depender de la nube. Ofrece interfaz gráfica, compatibilidad con modelos de Hugging Face, servidor local compatible con OpenAI, ajuste de temperatura y parámetros como top-K y top-P, soporte para Windows, Mac y Linux mediante AppImage, y uso gratuito sin formularios comerciales. En sus primeras versiones sugiere modelos como gpt-oss20b, de unos 12 GB, y permite probar otros más pequeños como qwen2-micro-0.5b-multilingual. Al terminar una respuesta muestra tokens por segundo, número de tokens y tiempo hasta el primer token, datos muy útiles para comparar rendimiento.
Ollama es otra opción, de código abierto y más orientada a desarrolladores, con interfaz de consulta, CLI y API compatible con OpenAI. En Linux se puede levantar con Docker, montando un volumen para conservar los modelos y publicando el puerto 11434. También se puede acompañar de Open WebUI mediante un docker-compose, con el puerto 3000 para el navegador y la variable OLLAMA_BASE_URL apuntando al servicio. Así se obtiene una interfaz web parecida a ChatGPT pero alimentada por modelos locales. En Windows, Ollama funciona como servicio y se puede exponer a la red con OLLAMA_HOST=0.0.0.0; si la GPU AMD aún no está soportada oficialmente, existen bifurcaciones y workarounds que sustituyen bibliotecas como rocblas.dll y la carpeta rocblas/library.
Las pruebas de rendimiento ayudan a hacerse una idea. Con llama3 en un Intel i5-1135G7 con 16 GB DDR4 y NVMe, una consulta de 23 tokens de prompt y 706 tokens de evaluación rondó los 17 tokens por segundo en prompt y los 5 en evaluación, con más de dos minutos en total. En una máquina virtual con la mitad de núcleos de un Xeon E5-2680 v4 y 16 GB DDR4, llama3 subió a unos 26 tokens por segundo en prompt y casi 7 en evaluación, mientras que gpt-oss mejoró el prompt hasta cerca de 42 tokens por segundo pero bajó a unos 7,5 en evaluación. Los números cambian mucho según modelo, hardware y cuantificación, así que conviene medir en el equipo real antes de sacar conclusiones.
El ecosistema va mucho más allá. Llama.cpp destaca por su amplio soporte de hardware; koboldcpp se centra en modelos GGML y GGUF; vLLM es una biblioteca muy popular para inferencia de modelos lingüísticos; Jan se presenta como alternativa totalmente offline a LM Studio; LocalAI pone el acento en la inferencia por CPU; Chatbox permite conectar con múltiples backends remotos y locales; y aplicaciones como PocketPal, Private LLM, Llamao, Layla, ChatterUI o Madi llevan modelos pequeños al teléfono. Hay vida más allá de las dos o tres herramientas más conocidas, y probar varias ayuda a encontrar la que mejor encaja con cada flujo de trabajo.
Precisión, hiperparámetros y confianza
Para que la inferencia sea fiable, conviene saber a quién va dirigido el producto y qué problema intenta resolver. Los resultados deseados deben ser específicos y medibles, de modo que se puedan establecer puntos de referencia y evaluar el rendimiento de forma continua. Sin esa disciplina, es fácil confundir una demostración vistosa con un sistema listo para producción. La precisión no se improvisa: se mide, se compara y se corrige.
Los hiperparámetros también influyen. A diferencia de los parámetros que el modelo aprende, se asignan manualmente o se ajustan como guías externas para orientar el entrenamiento y la inferencia. No están determinados por lo que el modelo extrae del conjunto de datos, pero pueden impulsar el rendimiento predictivo. En cuanto a los modelos estadísticos tradicionales, suelen limitarse a inferir relaciones entre variables de un conjunto de datos; la inferencia de IA va un paso más allá y busca la predicción más precisa posible a partir de esos datos. La diferencia no está en usar matemáticas, sino en el objetivo y en la capacidad de generalizar.
Un ejemplo clásico de inferencia es un sistema que detecta una anomalía en transacciones financieras y, por el contexto, deduce qué tipo de fraude podría representar. A partir de ahí genera una alerta para la entidad y para el titular de la cuenta. En aprendizaje profundo, una red neuronal que imita el funcionamiento del cerebro permite reconocer patrones sutiles y abstracciones, como ocurre en la generación de lenguaje natural. En aprendizaje automático, inferir significa que el algoritmo ha reconocido patrones en datos de selección y ahora los localiza en datos nuevos. La inferencia es, en todos esos casos, el momento en el que el patrón aprendido se encuentra con una situación real.
Llegados a este punto, queda claro que la inferencia de IA es la pieza que convierte un modelo entrenado en una herramienta capaz de aportar valor. Exige entender la diferencia entre aprendizaje y explotación del conocimiento, elegir bien entre tiempo real, lotes, perimetral o streaming, cuidar componentes como el motor, el hardware, la capa de servicio y la observabilidad, y valorar si compensa ejecutar en local o apoyarse en plataformas gestionadas. La clave está en optimizar velocidad, coste y escala sin perder precisión ni confianza, porque al final lo que distingue a un sistema de IA útil no es solo lo que aprendió durante el entrenamiento, sino lo bien que responde cuando se enfrenta a datos que nunca había visto.
Índice
- 1 Entrenamiento e inferencia: dos fases que se necesitan
- 2 Qué ocurre cuando un modelo infiere
- 3 Tipos de inferencia según el escenario
- 4 Componentes y plataformas que sostienen la inferencia
- 5 Plataformas de inferencia gestionada
- 6 Inferencia local y Edge AI: cuándo tiene sentido
- 7 Herramientas para probar inferencia en local
- 8 Precisión, hiperparámetros y confianza