Inhalt
Duplikaterkennung in Kunden- und Lieferantenstammdaten
Im Artikel zeige ich auf, wie Data Science bei der Erkennung von Duplikaten in den Lieferanten- und Kundenstammdaten unterstützen kann. Die Daten-Deduplizierung, ein wesentlicher Prozess im Datenmanagement, umfasst die Identifizierung und Beseitigung von doppelten Datensätzen, um Datenpräzision, Konsistenz und Zuverlässigkeit sicherzustellen. Mehr Informationen zum Thema Data Literacy erfahren Sie im Artikel „Warum Data Literacy essenziell für Unternehmen ist„.
In diesem Blog werde ich Sie durch eines unserer Projekte führen, in dem Künstliche Intelligenz (KI) zum Einsatz kam und uns das Potenzial der Datenbereinigung mit KI im Stammdatenmanagement gezeigt hat.
Warum ist Daten-Deduplizierung wichtig?
In der heutigen schnelllebigen und datengetriebenen Welt stehen Organisationen vor einer enormen Herausforderung – dem Management großer Mengen von Stammdaten. Ob es sich um Kundendaten, Lieferanteninformationen oder Materialstämmen handelt, die Aufrechterhaltung genauer und zuverlässiger Stammdaten ist ein kritischer Faktor in Unternehmen. Allerdings gelangen oft doppelte Datensätze aufgrund von Fehlern bei der manuellen Dateneingabe, unterschiedlichen Datenquellen und Datenmigrationen in Datenbanken. Mit zunehmendem Volumen der Stammdaten erweisen sich herkömmliche manuelle Deduplizierungsmethoden als unzureichend und zeitaufwändig. Die Entwicklung einer KI-Lösung für die Daten-Deduplizierung im Stammdatenmanagement bietet sich an, um den Problemen der manuellen Prüfung zu begegnen.
Unter SAP S/4HANA wurde das Konzept des Geschäftspartners (Business Partner) eingeführt. Hier werden zentral die Stammdaten für Geschäftspartner, Kunden und Lieferanten verwaltet. Wenn Organisationen vor der Herausforderung einer Datenmigration stehen, nimmt die Daten-Deduplizierung eine besondere Bedeutung ein. Der Migrationsprozess bietet eine einzigartige Gelegenheit zur Bereinigung und Harmonisierung von Daten, um einen nahtlosen Übergang zum neuen Business Partner Konzept zu gewährleisten.
Die Workflow-Struktur unserer KI-Lösung zur Daten-Deduplizierung
Der Workflow dieser KI-Lösung besteht aus mehreren Schritten, die jeweils zur Identifizierung und Bereinigung von duplizierten Kunden- und Lieferantenstammdaten beitragen.
- Extrahieren von Kunden- und Lieferantenstammdaten
Der Prozess beginnt mit dem Extrahieren von Kunden- und Lieferantenstammdaten. Dies umfasst das Abrufen von Informationen aus verschiedenen Quellen, wie Datenbanken und CRM-Systemen, und die Zusammenführung in einer einzigen Datei.
- Datenanalyse
Die KI-Lösung führt Datenanalysen durch und taucht tief in die Daten ein, um Muster, Verteilungen und potenzielle Duplikate zu identifizieren. Diese aufschlussreiche Analyse hilft dem Data-Science-Team, die kundenspezifischen Daten zu verstehen.
- Aufbereitung der Daten
Die Aufbereitung der Inputdaten ist ein entscheidender Schritt, der die Datenkonsistenz gewährleistet. In dieser Phase bereinigt die KI-Lösung die Daten, verarbeitet ungewöhnliche Daten und standardisiert Formate. Durch sorgfältige Vorbereitung der Inputdaten legt das KI-System den Grundstein für eine präzise und zuverlässige Deduplizierung.
- Erstellung von Eingabenattributen für Machine-Learning-Modelle
Nach Abschluss der Datenanalyse geht die KI-Lösung dazu über, Duplikate in den Originaldaten zu identifizieren. Dieser Schritt umfasst den Vergleich von Datensätzen und die Verwendung von Ähnlichkeitswerten, um potenzielle Duplikate zu bewerten.
- Vorhersage basierend auf Machine-Learning-Modellen
Das Herzstück des KI-Systems basiert auf den komplexen Machine-Learning-Modellen. Durch den Einsatz modernster Algorithmen werden potenzielle doppelte Datensätze identifiziert. Diese Machine-Learning-Modelle sind darauf trainiert, selbst subtile Ähnlichkeiten und Abweichungen zu erkennen, was eine präzise Deduplizierung ermöglicht.
- Darstellung der erzielten Ergebnisse
Die KI-Lösung hört bei der Deduplizierung nicht auf. Sie geht einen Schritt weiter und bindet den Nutzer aktiv in den Prozess ein. Die Ergebnisse werden so aufbereitet dargestellt, dass Sie die Deduplizierungsergebnisse verstehen können und fundierte Entscheidungen auf Grundlage der Dateninformationen treffen können.
- Validierung und menschliche Überprüfung
Obwohl die KI-Lösung eine automatisierte Deduplizierung durchführt, ist es wichtig, menschliche Überprüfungen für die Validierung mit einzubeziehen. Datenverantwortliche oder Datenmanagement-Teams überprüfen die deduplizierten Datensätze, um die Genauigkeit der KI zu gewährleisten. Dieser Schritt fügt eine Sicherheitsebene hinzu und verfeinert die Deduplizierungsergebnisse.
PIKONs KI-gestütztes Deduplizierungs-Tool
Aufbauend auf den oben beschriebenen Prinzipien entwickelte PIKON eine umfassende KI-gestützte Anwendung, um den manuellen Aufwand zu reduzieren und die Datenqualität während der Migration von ECC zu S/4HANA zu verbessern. Das Tool vereinfacht den Deduplizierungsprozess, indem es die Datenvorverarbeitung, das Feature-Engineering und die Output-Generierung automatisiert – es wird lediglich ein korrekt formatierter Datenextrakt aus dem Quellsystem benötigt.
Der typische Arbeitsablauf bei der Datendeduplizierung mit unserem Tool besteht aus den folgenden Schritten:
- Datenexport: Die Stammdaten werden im Excel-Format aus dem CRM- oder ERP-System exportiert. Zu den Schlüsselspalten gehören die eindeutige Kunden-/Lieferanten-ID, der Firmenname, die Adressdaten und die Steueridentifikationsnummer.
- Hochladen: Der Benutzer lädt den Datensatz über eine webbasierte Schnittstelle hoch.
- Ausführung der Dublettenprüfung: Die KI verarbeitet die Daten und erkennt Duplikate mit Hilfe trainierter maschineller Lernmodelle.
- Erzeugung der Ergebnisse: Es wird eine Ergebnisdatei erstellt, in der potenzielle doppelte Datensätze hervorgehoben werden.
- Entscheidungsfindung: Die Unternehmensverantwortlichen prüfen die Ergebnisse und entscheiden, ob die identifizierten Einträge zusammengeführt, gelöscht oder beibehalten werden sollen.
Sehen Sie sich eine kurze Demo des Tools an:
Sie sehen gerade einen Platzhalterinhalt von YouTube. Um auf den eigentlichen Inhalt zuzugreifen, klicken Sie auf die Schaltfläche unten. Bitte beachten Sie, dass dabei Daten an Drittanbieter weitergegeben werden.
Mehr InformationenDiese intuitive und skalierbare Lösung stellt sicher, dass qualitativ hochwertige, deduplizierte Daten jeden Schritt, z. B. bei der Migration, unterstützen.
Mögliche Use Case Szenarien:
- Überprüfung bestehender Stammdaten im System
- Durchführung einer Migration von Altsystemen nach S/4HANA
- Zusammenführung von Gesellschaften oder neuen Buchungskreisen in einem SAP-System
- Nicht-SAP-Daten inklusive der entsprechenden Felder (z.B. CRM-Systeme).
Möchten Sie sehen, wie dieses Tool Sie unterstützen kann? Kontaktieren Sie uns über den unten stehenden Button, um eine persönliche Demo zu vereinbaren.
Welche Vorteile bietet dieses Projekt für Sie?
- Verbesserung der Datenqualität – zum Beispiel vor der S/4HANA-Migration
Die KI-Lösung für die Deduplizierung gewährleistet Datenintegrität während der kritischen Migration in S/4HANA Projekten. Durch die Beseitigung von Duplikaten verbessert sie die Konsistenz der Daten.
- Reduzierung der Zeit für die Suche nach Duplikaten
Durch den Einsatz von Machine-Learning-Algorithmen optimiert die KI-Lösung die Suche nach Duplikaten, spart Zeit und Aufwand.
- Automatisierung des Deduplizierungsprozesses
Die KI-Lösung automatisiert den gesamten Deduplizierungsprozess von der Datenanalyse bis zur Ergebnisliste mit Duplikaten, minimiert menschliche Fehler und verbessert die Genauigkeit der Daten.
- Bereitstellung von Erkenntnissen für die Datenverantwortlichen
Mit fortschrittlicher Analytik ermöglicht die KI-Lösung den Datenverantwortlichen Informationen, die datengetriebene Maßnahmen und evidenzbasierte Entscheidungsfindungen unterstützen.
Fazit zum Projekt "Stammdatenbereinigung"
Zusammenfassend steht das Projekt „Stammdatenbereinigung“ als Beleg für die transformative Kraft Künstlicher Intelligenz (KI) im Datenmanagement. Durch die Bewältigung des Problems der Duplikate in den Stammdaten eröffnet das Projekt neue Möglichkeiten für genaue Analysen, die Verbesserung der Datenqualität vor der Migration in ein neues System oder der Qualität der Daten im aktuellen System, eine verbesserte Entscheidungsfindung und optimierte Abläufe, die alle zum Erfolg des Unternehmens in einer datenzentrierten Welt beitragen.
Relevantes SAP Add-on
Zum Management Ihrer Material-Stammdaten in Ihrem ERP-System (SAP S/4HANA oder SAP ECC) haben wir das „Material Master Data Cockpit“ als SAP Add-on für Sie. Bei dem SAP Material Master Data Cockpit handelt es sich um ein leistungsstarkes Tool für die Analyse von Stammdaten, sowohl für ein konkretes Material als auch den gesamten Materialstamm. Dieses benutzerfreundliche SAP-ERP-Add-on stellt Ihnen eine sehr schnelle, detaillierte und aktuelle Übersicht über jegliches Material (oder eine Liste von Materialien) in Ihrem SAP-ERP-System zur Verfügung:
SAP Material Master Data Cockpit
Gerne zeigen wir Ihnen anhand einer Live-System-Demo alle Funktionen unseres SAP Material Master Data Cockpits und beantworten Ihre Fragen.
Was ist Ihr Use Case?
- Möchten Sie wissen, wie Künstliche Intelligenz helfen kann, eine konkrete Problemstellung in Ihrem Unternehmen zu lösen?
- Möchten Sie zeitaufwendige Prozesse automatisieren?
- Haben Sie Interesse an Prognosen, um Ihre Planung zu vereinfachen?
