Operación de LLM privados: monitorización, cambios y recuperación

El propietario de negocio decide qué resultado es aceptable y cuándo suspender el uso. El equipo de plataforma mantiene capacidad y disponibilidad. Seguridad revisa accesos e incidentes, y un responsable de evaluación comprueba cambios de calidad. Una persona puede cubrir varias funciones, pero las responsabilidades deben quedar nombradas. Especifique quién recibe avisos, en qué horario y cómo se escala una incidencia.

El acuerdo operativo debe describir dependencias: identidad, almacenamiento, recuperación de documentos, red y motor de inferencia. Un endpoint saludable puede seguir dependiendo de un índice desactualizado o de permisos mal sincronizados. El ejemplo de arquitectura permite recorrer esas relaciones. Distinga lo que opera el cliente de lo que asumiría un proveedor dentro del alcance contratado.

Un SLO expresa un objetivo medible del servicio; un SLA formaliza compromisos contractuales y sus condiciones. No utilice ambos términos como sinónimos ni anuncie un SLA que no exista. Defina la ventana de medida, población de solicitudes y exclusiones. Por ejemplo, la latencia de solicitudes aceptadas por el sistema no debe ocultar una gran proporción de solicitudes rechazadas por saturación.

El objetivo debe representar el proceso. Un lote puede medirse por finalización antes de un plazo; una interfaz interactiva requiere espera inicial y tiempo total. Añada calidad y revisión cuando determinan la tarea terminada. Fije umbrales después de medir el piloto y la capacidad, no copiando cifras de otro entorno.

Las métricas disponibles dependen del motor y versión. Consulte la observabilidad de NVIDIA NIM o las métricas de vLLM según el entorno. Verifique nombres y unidades en la versión desplegada antes de crear paneles y alertas.

Para investigar capacidad suele bastar con identificador de solicitud, versión, tiempos, conteos de tokens y categoría de error. Registrar íntegramente prompts y respuestas puede ampliar la exposición de datos. Defina qué contenido se conserva, por qué, durante cuánto tiempo y quién puede consultarlo. Incluya exportaciones del sistema de monitorización y accesos de soporte.

Cuando necesite muestras de calidad, use un proceso autorizado con acceso limitado y minimización. No asuma que eliminar nombres resuelve toda la sensibilidad de un documento. Asegure que una alerta no copia contenido confidencial en un canal más amplio. El inventario de datos debe incluir registros, trazas, muestras y copias, además de las entradas del modelo.

Versione modelo, instrucciones, motor, cuantización, recuperación y validadores. Antes de cambiar producción, ejecute el conjunto de regresión pertinente y compare calidad, rendimiento y controles. Una modificación de la plantilla puede alterar la salida aunque los pesos sigan iguales. Documente el motivo, evidencia, aprobación operativa y procedimiento para revertir.

Una liberación gradual puede reducir el alcance de un fallo si la arquitectura permite dirigir tráfico a versiones concretas. Defina criterios de parada antes de empezar. El rollback debe incluir configuración compatible y tratamiento del trabajo en curso, no solo volver a descargar pesos. Si se ha cambiado el índice o el esquema de salida, compruebe que la versión anterior aún puede operar correctamente.

El runbook debe ayudar a detectar, contener, diagnosticar, recuperar y comprobar. Ante una posible exposición de datos, limite el acceso afectado y preserve evidencia de forma controlada. Ante saturación, contenga reintentos y admisión. No resuelva una caída enviando automáticamente datos a otro proveedor si ese recorrido no está aprobado y probado con los mismos requisitos.

Pruebe restaurar configuración y dependencias necesarias, no únicamente la existencia de una copia. Registre tiempo de recuperación y trabajo perdido o pendiente, y compárelos con los objetivos acordados. Verifique que la restauración no reintroduce permisos retirados ni datos que debían eliminarse. El plan de seguridad debe enlazar estas pruebas con los controles que protegen el servicio.

Establezca una cadencia acorde al cambio y al riesgo del proceso. Revise incidentes, volumen, segmentos de error y coste por tarea aceptada. Un modelo puede mantener su comportamiento mientras cambian los documentos que recibe; por eso conviene observar resultados del trabajo real con un procedimiento de revisión autorizado. Mantenga un registro de acciones y compruebe si reducen el problema detectado.

Incluya criterios de retirada: pérdida de soporte, licencia incompatible con un nuevo uso, costes desproporcionados o calidad insuficiente. La selección de modelos ofrece una ficha para evaluar sustitutos. El servicio de inferencia privada debe delimitar quién asume estas tareas; alojar un modelo y operar un proceso empresarial requieren responsabilidades explícitas.