Im Rahmen der ERP-Transformation von Handel Schweiz zeigte sich, dass Datenqualität ein zentraler Erfolgsfaktor für korrekte Rechnungsstellung, Reporting und effiziente operative Prozesse ist. Besonders herausfordernd waren Duplikate in Firmenadressen und Kontakten, die nicht immer als 1:1-Dubletten auftreten, sondern häufig kleine Abweichungen, unterschiedliche Schreibweisen oder ergänzende Informationen enthalten.
CONSENSO TECH entwickelte dafür ein Konzept und einen Prototyp zur intelligenten Duplikatserkennung. Adressen und Kontakte werden in eine mathematische Form überführt und mit Methoden wie TF-IDF und Cosine Similarity paarweise verglichen. Dadurch lassen sich auch ähnliche Datensätze identifizieren, bei denen klassische Dublettenprüfungen an ihre Grenzen stossen.
Der Ansatz ermöglicht eine flexiblere und präzisere Datenqualitätsprüfung als reine Standardabgleiche. Potenzielle Duplikate können nach Ähnlichkeitsscores bewertet und in einem nächsten Schritt über Workflows, UI-gestützte Bereinigung oder Reporting weiterbearbeitet werden.