Empieza por un perfil, no por una solución
Antes de modificar ni una sola celda, analiza el conjunto de datos: número de filas, porcentajes de valores nulos por columna, número de valores distintos y rangos de valores. Si se realiza la limpieza sin un análisis previo, no se podrá demostrar que el archivo haya mejorado.
La lista de comprobación básica
Sigue estos pasos en orden: cada uno de ellos hace que el siguiente resulte más económico.
- Estandarizar la estructura: una fila de encabezado, un registro por fila y nombres de columnas uniformes
- Normalizar formatos: fechas, divisas, códigos de país, formatos de números de teléfono, mayúsculas y minúsculas
- Elimina los duplicados siguiendo una regla de coincidencia documentada, no basándote en una intuición.
- Comprobar que se ajusta a la realidad: sintaxis y capacidad de entrega del correo electrónico, existencia del dominio, rangos
- Trata los valores en blanco de forma explícita: «en blanco», «desconocido» y «no aplicable» son tres conceptos distintos
- Registra cada transformación para que el archivo sea reproducible el próximo trimestre.
Haz que sea repetible
Una limpieza puntual te da un trimestre. Un conjunto de normas documentadas, junto con un responsable, te da un año. Asigna un responsable de datos para cada campo crítico y define por escrito qué significa «válido» en cada caso.
Common questions
¿Cuánto tiempo dura un proyecto de limpieza de datos?
En el caso de una única fuente con menos de 100 000 filas y reglas claras, se tarda unos días. La consolidación de múltiples fuentes con definiciones contradictorias suele llevar semanas, y la mayor parte de ese tiempo se dedica a ponerse de acuerdo sobre las definiciones.
¿Es mejor limpiar antes o después de la carga en el almacén?
Carga el archivo sin procesar y, a continuación, transforma. Mantener una capa sin procesar intacta te permite volver a ejecutar la lógica de corrección sin necesidad de volver a recopilar el material de origen.
Final thoughts
Los paneles de control rara vez fallan por culpa de un gráfico. Fallan porque dos formas diferentes de escribir el nombre de un mismo cliente han dividido una cuenta en dos, y nadie se dio cuenta antes de la reunión de la junta directiva.
Need help improving your business data?
DataDabble can research, clean, enrich, and maintain the records your team depends on.
