Datarensning (data cleaning/scrubbing) är den systematiska processen att upptäcka, korrigera eller ta bort felaktiga, ofullständiga, duplicerade eller irrelevanta poster från en dataset för att säkerställa datakvalitet för analys, operationer och beslutsfattande.
Vanliga datakvalitetsproblem
- Duplicerade poster: Samma entitet inskriven flera gånger.
- Saknade värden: Null i obligatoriska fält.
- Inkonsekventa format: Datum (MM/DD/ÅÅÅÅ vs DD-MM-ÅÅÅÅ), versaler, enheter.
- Ogiltiga värden: Utanför intervall, misslyckade valideringsregler (t.ex. ålder >120).
- Felaktiga data: Skrivfel, föråldrad information, mätfel.
- Irrelevanta data: Fält som inte behövs för analys.
- Referentiell integritetskränkningar: Föräldralösa främmande nycklar.
Rensningstekniker
- Deduplicering: Exakt/fuzzy matching (Levenshtein, Jaro-Winkler), survivorship-regler.
- Standardisering: Parsning, formatering (adresser, namn, telefonnummer), enhetsomvandling.
- Validering: Regelförankrad (regex, intervall, tvärfält), referensdatauppslag (postnummer, ISO-koder).
- Imputering: Medel/median, regression, KNN, ML-baserat för saknade värden.
- Anrikning: Tillägg tredjepartsdata (demografi, firmografi, geokodning).
- Utomstående detektering: Statistiskt (IQR, z-score), ML (isolation forest).
Verktyg och tillvägagångssätt
- Programmatiska: Python (pandas, Great Expectations), SQL, R (dplyr, janitor).
- ETL/ELT-plattformar: dbt, Airflow, Talend, Informatica, Dataiku.
- Specialiserade verktyg: Trifacta, OpenRefine, WinPure, Data Ladder.
- Manuell granskning: För låga volymer, höga insatser, eller tvetydiga fall.
Bästa praxis
- Profilera data först (statistik, fördelningar, kvalitetsmått).
- Definiera kvalitetsregler och tröskelvärden med intressenter.
- Automatisera reproducerbara pipelines (versionshanterade).
- Logga alla transformationer för revisionsspår.
- Mät kvalitet före/efter (fullständighet, noggrannhet, konsistens, tidighet, giltighet, unikhet).
- Etablera pågående övervakning (dataobservabilitet).
- Dokumentera linjä och affärsregler.
Affärspåverkan
- Förbättrad modellnoggrannhet, rapporteringstillförlitlighet.
- Minskade operativa kostnader (felaktiga utskick, efterlevnadsböter).
- Ökat kundförtroende (korrekta kommunikationer, personalisering).
- Regulatorisk efterlevnad (GDPR, CCPA, BCBS 239).
Datarensning är inte en engångsuppgift – det är en kontinuerlig disciplin inbäddad i datalivscykeln.
