Handlungsleitfaden für die Durchführung von Machine-Learning-Projekten bei der BWI GmbH

Projektausgangslage: Analyse von Schulungsmaterial um Rückschlüsse auf die Ausbildungsqualität zu ziehen 

Innerhalb des HERKULES-Vertrages wurden Arbeitspakete für die Ausbildung der Erstnutzer/innen im Bereich der Standard-Anwendungs-Software-Produkt-Familie (SASPF) von der Abteilung Trainingsmanagement & Consulting übernommen. Die definierten Arbeitspakete beinhalten u. a. qualitätsgesicherte Schulungsunterlagen, die Entwicklung von Web-Based-Training-Einheiten (WBTs), die Schulungsplanung und die Schulungsadministration. Zur stetigen Qualitätssicherung der Ausbildung für die Bundeswehr werden derzeit verschiedene Maßnahmen ergriffen. Dazu zählt unter anderem eine Evaluation nach jedem Kurs für die Trainer/innen und der Kursteilnehmer/innen.

Die Bundeswehr betreibt ein Ausbildungsforum, in dem sich die Nutzer SASPF über unterschiedliche Themenfelder austauschen können. Im Forum „SASPF“ gibt es eine Vielzahl an Diskussionsbeiträgen, welche zur weiteren Evaluation der Kurse betrachtet wurden. Innerhalb dieses Projektes wird eine textbasierte und inhaltliche Analyse der Forumsbeiträge erfolgen. Ebenso werden die Textbeiträge der Kurs- und Trainerbewertungen hinzugezogen. Beide Datenquellen sollen mögliche Rückschlüsse auf die Kursqualität der SASPF-Ausbildung geben.

Zielsetzung des Projektes: Sicherung der Ausbildungsqualität und ableitende Maßnahmen

Innerhalb eines „Proof of Concept“ (PoC) ist in diesem Projekt zu klären, ob durch eine Textanalyse von Forumsbeiträgen in einem Ausbildungsforum und der Kurs- und Trainingsbewertungen mit dem Watson Content Analytics Server Rückschlüsse auf die Ausbildungsqualität gezogen werden können. Anhand von Worthäufigkeiten und Korrelationen von definierten Signalwörtern sollen Erkenntnisse gewonnen werden, die die Qualität der Ausbildung sichern und mögliche Maßnahmen ableiten lassen. Damit die Zielsetzung erreicht werden kann, ist es erforderlich, dass die Daten zum einen angemessen für das Analytics Tool aufgearbeitet werden und zum anderen, dass das nötige Know-how für das Software Tool zur Verfügung steht. Die Analyse wird mit dem IBM Tool Watson Content Analytics Server durchgeführt. Die konzeptionelle Ausarbeitung, Steuerung und die Planung des Projektes durch die BWI GmbH sichert zugleich das Erfüllen der Projektziele. Des Weiteren werden Maßnahmen zur Qualitätsverbesserung anhand der Analyseergebnisse definiert.

Projektentwicklung: Überarbeitung der Schulungsunterlagen

Die Analyse der Diskussionsbeiträge im Ausbildungsforum der Bundeswehr hat gezeigt, dass sich wertvolle Ergebnisse für die Ausbildung der Bundeswehr ableiten lassen und dass sich daraus Maßnahmen für die Ausbildung erschließen. Die Maßnahmen werden der Abteilung nach Abschluss des Projektes in Form eines Berichts übergeben und können somit in die Weiterentwicklung weiterer Schulungskonzepte mit einfließen.

Zu den verwendeten Maßnahmen zählen u. a.:

• Überarbeitung der Schulungshandbücher,
• Überarbeitung von Kursevaluierungen zur einer 2-Phasen-Evaluierung, um vermisstes Wissen aus den Kursen nach einem bestimmten Zeitpunkt direkt wieder abzufragen,
• Anforderungen an Kursgruppen.

Eine Weiterentwicklung zu einem Analytics-Service für die BWI GmbH ist ebenfalls noch ausstehend. Mit dem Projekt werden unterschiedliche Methoden zur Datenanalyse dargestellt, die für die Zukunft wichtige Erkenntnisse in der Datenerschließung leistet.

Mehrwert für die BWI GmbH: Entwicklung des Leitfadens macht Steuerung von Analytics-Projekten effizienter möglich

Durch die geschaffene Abstraktion des Themas wird eine Vervielfachung von Analyseprojekten mit KI-basierter Software für die BWI GmbH möglich sein. Das Projekt liefert vor allem einen Mehrwert im Rahmen der Einführung und Anwendung von neuen Technologien mit strukturierten Prozess-Frameworks im Bereich Data Analytics und Machine Learning bzw. Data Science. Durch den entwickelten Leitfaden können Analytics-Projekte im Unternehmen gesteuerter durchgeführt werden. Mit der Kombination von agilen Projektmanagementmethoden wird verdeutlicht, dass ein Projektverlauf effizienter und der Technologie begünstigt durchgeführt werden kann. Die Projektergebnisse und das geschaffene Know-how des PoC konnten in einem Projektexperiment, welches in Kooperation mit dem Innovationsmanagement geführt wurde, als Grundlage verwendet werden. 

Big Picture Tina Schurig (Quelle: Eigene Darstellung)