La validación empieza por una regla, no por una herramienta
Una comprobación de validación solo tiene sentido cuando se ha definido el estado esperado. Antes de revisar un conjunto de datos, decide qué campos son obligatorios, qué formatos se aceptan, qué rangos son plausibles, qué valores deben ser únicos y qué relaciones entre campos deben cumplirse.
Un mismo valor puede ser válido en un flujo de trabajo y no ser utilizable en otro. Un campo de ingresos en blanco puede ser aceptable para un directorio de contactos, pero puede ser motivo de exclusión en un proyecto de segmentación que se base en tramos de ingresos.
Utiliza comprobaciones estructurales para detectar rápidamente los defectos evidentes
La validación estructural detecta los registros que incumplen una regla previsible. Estas comprobaciones son fáciles de automatizar y, por lo general, deberían realizarse antes de la revisión manual.
Entre los ejemplos se incluyen las comprobaciones de campos obligatorios, las listas de valores permitidos, las comprobaciones de tipo de datos, las reglas de longitud, los formatos de fecha, la sintaxis del correo electrónico, la estructura de las URL, los rangos numéricos y los identificadores duplicados. Estas comprobaciones no demuestran que un valor sea cierto, pero eliminan muchos registros que son claramente inservibles.
- Los campos obligatorios están rellenados
- Los valores utilizan el tipo y el formato esperados
- Las cifras y las fechas se sitúan dentro de unos márgenes plausibles
- Los campos controlados utilizan valores aprobados
- Los identificadores que deben ser únicos no se duplican
Valida las relaciones entre campos, no solo las celdas individuales
Muchos errores importantes solo se detectan cuando se evalúan los campos en conjunto. Un contacto puede tener una dirección de correo electrónico perfectamente formateada que, sin embargo, pertenezca a otra empresa. Una ciudad y una provincia pueden ser válidas por separado, pero no coincidir entre sí. Una variante de producto puede contener atributos válidos que entren en conflicto con el registro principal.
Las reglas entre campos detectan estas contradicciones. En el caso de la investigación B2B, el nombre de la empresa, el sitio web, el dominio, el cargo de la persona de contacto y el contexto de la fuente deben corresponder a la misma entidad.
La validación de origen es diferente de la validación de formato
Un valor puede superar todas las comprobaciones de formato y, aun así, ser incorrecto. Ahí es donde cobra importancia la validación en origen. Compara los valores de gran impacto con registros propios fiables, fuentes oficiales de la empresa, proveedores de datos de confianza u otra referencia fidedigna adecuada para el proyecto.
DataDabble considera las fuentes de información y el formato como niveles de fiabilidad independientes. Un registro que tenga un aspecto impecable no debe considerarse «verificado» únicamente porque se ajuste al esquema.
Establecer resultados explícitos para los registros inciertos
La validación no debe obligar a clasificar todos los registros como «aprobados» o «rechazados» cuando la información sea incompleta. Entre los estados útiles pueden figurar: «verificado», «solo formato válido», «necesita revisión», «conflicto de fuentes», «obsoleto», «no encontrado» o «rechazado».
Es mejor dejar patente la incertidumbre que rellenar un campo con un valor que parezca completo pero que no se pueda justificar. Además, esto permite priorizar la investigación manual específica, en lugar de obligar a los revisores a volver a comprobar todo el conjunto de datos.
Ejecutar la validación antes y después de la transformación
La validación resulta útil en varios momentos. Comprueba los datos de entrada sin procesar antes de la transformación, para que los registros erróneos no afecten al flujo de trabajo. A continuación, vuelve a comprobar los datos de salida tras la estandarización, la fusión, el enriquecimiento o la asignación de migración, para confirmar que el proceso no ha generado nuevos errores.
En el caso de las tareas recurrentes, guarda las reglas en código, fórmulas de hojas de cálculo, restricciones de bases de datos o comprobaciones de flujos de trabajo, de modo que se aplique siempre el mismo estándar de forma coherente.
Evalúa la validación de las pruebas en función del impacto en el negocio, no solo de la tasa de aprobados
Una tasa de superación de la validación del 98 % puede seguir siendo inaceptable si ese 2 % que no supera la validación incluye los registros que determinan la declaración de ingresos o los campos utilizados para canalizar cada oportunidad de venta. Realiza un seguimiento de los fallos por regla y por importancia de los campos.
Los mejores programas de validación permiten actuar ante los defectos: qué regla no se ha cumplido, cuántos registros se ven afectados, si el problema es sistemático y qué medidas deben tomarse a continuación.
Common questions
¿Qué es la validación de datos?
La validación de datos comprueba si los datos cumplen los requisitos definidos en cuanto a formato, rango, integridad, coherencia, relaciones, fiabilidad de la fuente y uso empresarial.
¿Cuál es la diferencia entre la limpieza de datos y la validación de datos?
La limpieza de datos modifica o elimina los datos erróneos. La validación comprueba si los datos cumplen las normas establecidas. La validación suele identificar qué datos deben limpiarse y, a continuación, confirma el resultado de la limpieza.
¿Se puede automatizar la validación de datos?
Muchas comprobaciones estructurales y relacionadas con las reglas de negocio pueden automatizarse. Sin embargo, la correspondencia de entidades ambiguas, los conflictos entre fuentes y las investigaciones que requieren un análisis contextual profundo suelen seguir necesitando una revisión humana.
¿Cuándo deben validarse los datos?
Comprueba los datos de entrada importantes antes de la transformación y vuelve a comprobar los datos de salida tras los procesos de limpieza, enriquecimiento, migración o integración.
Final thoughts
La validación de datos es el proceso de comprobar si los datos cumplen las normas exigidas para el uso previsto. IBM la define como la verificación de que los datos están limpios, son precisos y están listos para su uso. En la práctica, la validación puede ser sencilla, como confirmar que un campo obligatorio está presente, o más contextual, como comprobar que el dominio de una empresa pertenece a la misma organización que figura en el registro.
Need help improving your business data?
DataDabble can research, clean, enrich, and maintain the records your team depends on.
