Erkenntnisse aus dem maschinellen Lernen im Portfoliomanagement
Wir befinden uns nun im dritten Jahr der Optimierung des Portfoliomanagements mit Hilfe von maschinellem Lernen und haben auf diesem Weg Hunderttausende von Vorhersagen erstellt. Wir freuen uns, einige unserer erstaunlichen Erfolge, aber auch einige schreckliche Enttäuschungen mit Ihnen zu teilen und unsere Lehren daraus zu ziehen.
Was kann maschinelles Lernen also für das Portfoliomanagement leisten? Maschinelles Lernen kann frühzeitig auf relevante Probleme im Projekt- und Portfoliomanagement hinweisen. Zum Beispiel werden einige der Projekte in Ihrem Portfolio nicht innerhalb des Budgets abgeschlossen. Mithilfe von maschinellem Lernen können Sie die Wahrscheinlichkeit einer Budgetüberschreitung für jedes der laufenden Projekte vorhersagen. Neben der Budgetüberschreitung kann maschinelles Lernen auch die Wahrscheinlichkeit vorhersagen, dass ein Projekt nicht rechtzeitig geliefert wird, oder sogar die Wahrscheinlichkeit, dass ein Projekt in der aktuellen Roadmap gestrichen wird. Es kann auch für die Vorhersage des tatsächlichen Werts von Projekten eingerichtet werden, z. B. für die Wahrscheinlichkeit, dass ein Projekt weniger als 10 % des erwarteten Werts liefert.
Seit der Nobelpreisträger Harry Markowitz seinen Aufsatz über die moderne Portfoliotheorie veröffentlicht hat, wird diesem Thema große Aufmerksamkeit geschenkt. Es wurde von Aktien auf Projekte übertragen, bei denen heutzutage ein Portfoliomanagement üblich ist. Der Grund, warum Markowitz‘ Arbeit so attraktiv war, bestand darin, dass er die Anlagen diversifizierte, um die Rendite bei einem bestimmten Risikoniveau zu maximieren. Er zeigte uns, wie dies über eine effiziente Grenze realisiert werden kann, die die erwartete Rendite auf das zu berücksichtigende Risiko abbildet.
Dieses Schlüsselkonzept des Schöpfers des Portfoliomanagements, die Effizienzgrenze, ist bei modernen Projektportfoliomanagern kaum noch bekannt. Wie sieht es aber mit dem Eingangsparameter für dieses Modell aus: der Risikokomponente? Viele Organisationen haben Mühe oder sogar den Kampf aufgegeben, das Risiko einer Investition in ein Projekt zu projizieren. Heute, 50 Jahre nach Markowitz‘ Veröffentlichung, können wir endlich das Risiko eines Projekts vorhersagen. Dank der Einführung von Machine Learning im Portfoliomanagement.
Wie sieht der Erfolg von Machine Learning im Portfoliomanagement aus?
Mit Machine Learning können Modelle erstellt werden, um z. B. die Wahrscheinlichkeit einer Budgetüberschreitung vorherzusagen, und diese Modelle erzeugen für jedes Ihrer laufenden Projekte einen Wert zwischen 0 (keine Budgetüberschreitung) und 1 (eine Budgetüberschreitung wird auftreten). Mit diesem Wissen könnten Sie sich fragen: Kann ich diesem Wert vertrauen? Wenn also ein Projekt nach dem Modell eine Wahrscheinlichkeit von 0,8 hat, wird es dann tatsächlich mehr Mittel benötigen als zugewiesen? Diese Diagnosefähigkeit des Modells lässt sich durch die Receiver Operating Characteristic (ROC) beschreiben. In der Regel handelt es sich um eine Zahl zwischen 0,5 und 1. Eine ROC von 0,8 gilt als gut, über 0,9 als sehr gut, während eine ROC von 0,5 wie ein Münzwurf ist.
Die Modelle, die wir in unserer Portfoliomanagementlösung Uffective erstellt haben, lieferten ROCs von 0,6 bis 0,9. Was sind also Beispiele für ein nutzloses Modell (ROC < 0.7) und was für ein erfolgreiches Modell (ROC > 0.8)?
Zunächst das nutzlose Modell. Ein agiles niederländisches Softwareunternehmen, dessen Softwareentwicklung auf vier Länder verteilt ist, stellt fast täglich neue Softwareversionen bereit. Nachdem sie die Regressionstests mit Uffective optimiert hatten, baten sie uns, die Metadaten der neu produzierten Software zu verwenden, um die Wahrscheinlichkeit vorherzusagen, dass die neue Software zu Problemen mit den Kunden führen wird. Das von uns erstellte Modell hatte einen ROC-Wert von 0,6 und half dem Kunden nicht, sich auf die Software mit der höchsten Fehlerwahrscheinlichkeit zu konzentrieren. Bei diesem Modell wurden nur Metadaten über die Software verwendet, z. B. wer die Benutzergeschichte spezifizierte, wer den Code programmierte und wie viel Zeit für die Erstellung der Software benötigt wurde. Um das ROC so zu verbessern, dass das Modell einen Mehrwert für den Kunden bringt, werden wir untersuchen, wie oft der Programmierer während der Programmierung und auch im tatsächlich erstellten Code andere Themen unterbricht. Diese neuen Datenpunkte werden als Eingangsmerkmal für das Modell des maschinellen Lernens hinzugefügt.
Für einen großen Telekommunikationsbetreiber erstellten wir ein Modell zur Vorhersage der Wahrscheinlichkeit einer Projektstornierung. Das Modell wurde so abgestimmt, dass es einen ROC von > 0.9 erreicht. Sowohl das Management als auch die Projektleiter können die Ergebnisse des Modells für die Entscheidungsfindung sowie für Szenarioanalysen zum Projekt nutzen.
Wie man ein Modell für maschinelles Lernen füttert: Features
Das Risiko eines Projekts ist ein mehrdimensionales Konstrukt. Die grundlegendste Komponente ist der Abbruch eines Projekts, da ein abgebrochenes Projekt niemals den erwarteten Wert liefern wird. Aber auch Budgetüberschreitungen oder eine verspätete Lieferung verringern den erwarteten Wert. Das oft vernachlässigte, aber vielleicht wichtigste Risiko besteht darin, dass abgeschlossene Projekte nicht den erwarteten Wert erbringen.
Normalerweise beginnen wir mit der Erstellung eines Modells für das Stornierungsrisiko, und diese Modelle verwenden 20 bis 40 Eingabemerkmale wie Budgetgröße, erwarteter Wert, aber auch Zeit bis zur Markteinführung sowie den Product Owner, Scrum Master und Programmierer. Die Modelle werden in der Regel mit mehr als 1.000 Datenzeilen trainiert, obwohl wir bereits mit 600 Projekten erfolgreiche Modelle hatten.
Eine Lektion, die wir gelernt haben, ist, dass sich das Modell verbessert, wenn man den Monat einbezieht, in dem das Projekt ins Leben gerufen wurde, da in einigen Unternehmen Projekte, die während des jährlichen Budgetzyklus initiiert werden, eine höhere Stornierungsrate zu haben scheinen. Eine weitere Erkenntnis ist, dass sich der ROC-Wert verbessert, wenn man je nach Reifegrad des Projekts mehrere Modelle trainiert. Diese Modelle können sich auf die Gates konzentrieren (also ein Modell für alle Projekte vor dem ersten Gate, eines vor dem zweiten Gate usw.), aber auch auf den Sprint-Zyklus (z. B. vor Beginn oder nach Abschluss des ersten Sprints).
Die Modelle für die ausgereifteren Projekte enthalten Merkmale wie die Anzahl der Warteschleifen und die Zeit, die für die Abschwächung eines roten Signals benötigt wird. In fortgeschritteneren Umgebungen verwenden wir den wöchentlichen Berichtstext des Projektleiters, um die „Stimmung“ dieses Textes zu berechnen, die dann als Merkmal verwendet wird.
Wir waren sehr überrascht, als wir einen ROC > von 0.9 erreicht haben. Wir waren überrascht, denn diese Modelle bewerteten nicht den Inhalt des Projekts; die Metadaten schienen eine starke Vorhersagekraft zu haben.
Wie man die Ergebnisse des Machine Learnings verwendet
Nachdem Sie also ein erfolgreiches Modell erstellt haben, können Sie mit den Vorhersagen beginnen. Wie nutzen die Unternehmen die Ergebnisse der Machine-Learning-Modelle?
Zunächst können sie den Projektleitern die Vorhersagen zugänglich machen, und diese Projektleiter können mit der Durchführung von Szenarien beginnen, indem sie die Eingabemerkmale ändern. Sie können die Teilnehmer im Team wechseln, aber auch das Modell erneut durchführen, wenn die aktuellen roten Risiken geschlossen sind. Diese Übungen führen normalerweise zu einer besseren Datenqualität, da abgebrochene Projekte in der Regel eine geringe Datenqualität aufweisen. Szenario-Analysen werden durch die Funktion der Merkmalswichtigkeit unterstützt, da diese den Kollegen hilft, sich auf die Merkmale mit der höchsten Auswirkung sowohl auf die Verringerung als auch auf die Erhöhung der Stornowahrscheinlichkeit zu konzentrieren.
Die Risikovorhersage kann auch zur Unterstützung der Entscheidungsfindung verwendet werden, wenn die Entscheidungsträger, die über Projekte und die Zuteilung von Ressourcen entscheiden, diesen neuen Input-Punkt erhalten. Dieser neue Input hilft ihnen, die Entscheidungsfindung zu rationalisieren und dabei beide Dimensionen, sowohl den erwarteten Wert als auch das Risiko, zu nutzen.
Das Modell kann natürlich für Vorhersagen für alle laufenden Projekte verwendet werden. Interessant ist, was passiert, wenn Prognosen der Führungsebene vorgelegt werden. Wenn die Projekte, die am wahrscheinlichsten gestrichen werden, ganz oben stehen, dann ist eine „normale“ Reaktion auf die ersten Projekte auf der Liste, dass die Manager dem Modell zustimmen und auch denken, dass die Projekte gestrichen werden. Dies ist ein interessanter Befund, da sowohl ein mathematisches Modell als auch die Einschätzung des Managements darauf hindeuten, dass ein Projekt abgebrochen wird, warum das Team nicht aus dem Projekt entlassen und das Anwachsen der versunkenen Kosten vermieden wird. Andererseits werden auch einige Lieblingsprojekte auf der Liste der zu streichenden Projekte stehen. Dies wird die Unternehmensleitung stören, und eine voraussichtliche Reaktion ist, dass sie sich selbst in den Lenkungsausschuss einbringt oder auf andere Weise in das Projekt eingreift. Da es sich bei dieser Reaktion um eine neue Variable handelt, die dem Modell nicht bekannt ist, erklären die Ingenieure für maschinelles Lernen, dass dies die Vorhersagbarkeit des Modells verringert.
Dies ist natürlich richtig, aber für unsere Kunden kein Thema, da die meisten von ihnen nicht an der Verbesserung der Betriebseigenschaften des Empfängers interessiert sind, sondern an der Verbesserung der Endergebnisse und der Kundenerfahrung.
Probieren Sie es aus!
Laden Sie unsere kostenlose Demo herunter und überzeugen Sie sich selbst.
Nur ein Klick entfernt.
