Calidad del dato: los controles que conviene ejecutar antes de publicar un informe

El error más costoso de un informe no siempre aparece como una celda vacía. A veces es una cifra perfectamente presentada que incluye registros duplicados, mezcla unidades o deja fuera una carga reciente. El equipo toma una decisión y descubre el problema días después. Una estrategia de calidad del dato debe interceptar esos fallos cerca de su origen y mostrar con claridad qué parte de la información puede utilizarse mientras se resuelve la incidencia.

Empieza por los datos que sostienen una decisión

Intentar validar todas las columnas con la misma intensidad consume esfuerzo sin garantizar utilidad. Identifica primero los campos que determinan indicadores, accesos o compromisos operativos. En una planificación de personal, por ejemplo, importan especialmente la fecha, el equipo asignado, las horas y el estado del trabajo. Un comentario opcional incompleto no tiene el mismo efecto que una fecha desplazada un día. Priorizar por impacto ayuda a definir qué errores deben detener la publicación y cuáles pueden quedar como advertencia.

Comprueba estructura e identidad

Una primera capa verifica que llegan las columnas esperadas, que los tipos son compatibles y que cada registro tiene una identidad estable. Las pruebas de unicidad y ausencia de valores nulos son especialmente útiles en claves. La documentación de dbt recoge estas comprobaciones junto con valores aceptados y relaciones entre tablas. Son una base, pero necesitan una definición propia: si el identificador solo es único dentro de una delegación, la regla debe contemplar ambas columnas y no rechazar registros válidos.

Evita resolver duplicados borrando filas sin investigar su significado. Dos registros pueden ser versiones sucesivas de la misma operación o dos actividades legítimas con atributos parecidos. Antes de deduplicar, acuerda qué identifica el evento, qué versión debe prevalecer y cómo conservar su historia. La corrección queda mucho más segura si puede reproducirse y explicarse con una muestra pequeña.

Añade reglas que conozcan el proceso

Las comprobaciones de negocio detectan problemas que un tipo de dato no ve. Una fecha de finalización anterior al inicio merece revisión; una duración negativa puede ser imposible; un estado cerrado sin responsable puede incumplir el flujo acordado. No todas las excepciones son errores. Define cómo se registran anulaciones y ajustes para que una regla no obligue a maquillar datos reales. Conviene escribir cada control en lenguaje comprensible antes de traducirlo a una consulta o a una herramienta de validación.

• Unicidad: la clave acordada no aparece varias veces en el mismo estado vigente.
• Integridad: los identificadores relacionados existen en su tabla de referencia.
• Plausibilidad: fechas, importes o duraciones respetan reglas explícitas del proceso.
• Cobertura: todas las fuentes y periodos previstos han llegado antes del cierre.
• Actualidad: la última ejecución correcta cumple la necesidad del consumidor.

Vigila también lo que no ha llegado

Una carga puede terminar sin errores y contener la mitad de las filas habituales. Por eso hay que observar volúmenes, periodos cubiertos y fuentes presentes. Compara con un comportamiento razonable, teniendo en cuenta fines de semana y cierres planificados. Un descenso no prueba por sí solo un fallo: puede reflejar menos actividad. La alerta debería aportar el histórico y la fuente afectada para que el responsable distinga un cambio real de un problema en la extracción.

Diseña la respuesta al fallo

Cada comprobación debe producir una salida útil: nombre de la regla, momento de ejecución, número de registros afectados, una muestra controlada y responsable. Si contiene información sensible, evita enviarla íntegra por correo o a canales generales. Para un error bloqueante, conserva la última versión validada e indica su antigüedad. Para un aviso, permite continuar solo cuando el riesgo y el tratamiento estén acordados. El objetivo es hacer visible la decisión, no ocultar errores bajo un estado verde.

Mide si los controles reducen trabajo

Revisa cuántos fallos detecta cada regla y cuántos resultan irrelevantes. Una alerta que siempre se ignora necesita un umbral mejor, una definición distinta o su retirada. Relaciona las incidencias con su causa: un formulario ambiguo, una integración que cambió o una responsabilidad que nadie asumió. Corregir la captura suele ser más rentable que limpiar los mismos valores en cada informe. Mantén un pequeño historial para reconocer recurrencias y comprobar si la acción aplicada las eliminó.

La calidad no significa declarar perfecto un conjunto de datos. Significa conocer sus límites y mantenerlos bajo control para el uso previsto. Una primera entrega razonable puede cubrir cinco reglas de alto impacto sobre una sola fuente y ampliarse después. Cuando esas reglas tienen responsables, evidencias y una respuesta definida, el informe deja de depender de que una persona recuerde todas las comprobaciones antes de pulsar publicar.