Ursprünglich veröffentlicht im November 2022 · aktualisiert im Oktober 2026
Seit 2019 setzt Uffective Machine Learning ein, um Projektportfolios zu steuern. Auf diesem Weg haben unsere Modelle Hunderttausende Vorhersagen erstellt. Manche Modelle haben uns selbst überrascht, andere sind krachend gescheitert. Beides teilen wir hier, denn aus beidem lässt sich lernen, was KI im Projektportfolio heute leisten kann und was nicht.
Was KI im Projektportfolio leisten kann
KI im Projektportfolio meint in der Praxis vor allem eines: Probleme früh sichtbar machen, bevor sie in einem Statusbericht auftauchen. Konkret lassen sich mit Machine-Learning-Modellen für jedes laufende Projekt Wahrscheinlichkeiten berechnen, zum Beispiel für:
- eine Budgetüberschreitung,
- eine verspätete Fertigstellung,
- einen Abbruch des Projekts in der aktuellen Roadmap,
- einen Wertbeitrag, der deutlich hinter dem Business Case zurückbleibt – etwa weniger als 10 % des erwarteten Werts.
Das fehlende Puzzleteil seit Markowitz: das Risiko
Seit Nobelpreisträger Harry Markowitz die moderne Portfoliotheorie veröffentlichte, gilt: Ein gutes Portfolio maximiert die Rendite bei gegebenem Risiko. Markowitz zeigte das über die Effizienzgrenze, die erwartete Rendite und Risiko gegenüberstellt. Das Prinzip wurde von Aktien auf Projekte übertragen. Im Projektportfoliomanagement ist die Effizienzgrenze heute allerdings kaum noch bekannt.
Der Grund liegt in der zweiten Eingangsgröße: dem Risiko. Viele Organisationen tun sich schwer damit, das Risiko einer Projektinvestition zu beziffern, oder haben es aufgegeben. Gut 50 Jahre nach Markowitz lässt sich dieses Risiko mit Machine Learning endlich vorhersagen. Damit wird die Effizienzgrenze im Projektportfolio wieder praktisch nutzbar.
Woran man ein gutes Modell erkennt
Ein Modell, das etwa die Wahrscheinlichkeit einer Budgetüberschreitung vorhersagt, liefert für jedes Projekt einen Wert zwischen 0 (keine Überschreitung) und 1 (Überschreitung tritt ein). Die entscheidende Frage lautet: Kann ich diesem Wert vertrauen? Wenn ein Projekt einen Wert von 0,8 hat, braucht es dann tatsächlich mehr Mittel?
Wie gut ein Modell unterscheidet, beschreibt die Kennzahl ROC (Receiver Operating Characteristic). Sie liegt in der Regel zwischen 0,5 und 1:
- 0,5 entspricht einem Münzwurf,
- ab 0,8 gilt ein Modell als gut,
- über 0,9 als sehr gut.
Die Modelle, die wir in Uffective gebaut haben, lagen zwischen 0,6 und 0,9.
Ein Fehlschlag und ein Erfolg
Der Fehlschlag (ROC 0,6). Ein agiles niederländisches Softwareunternehmen mit Entwicklung in vier Ländern bringt fast täglich neue Softwareversionen heraus. Nachdem es seine Regressionstests mit Uffective optimiert hatte, sollte ein Modell vorhersagen, welche neuen Versionen beim Kunden Probleme verursachen. Das Modell nutzte nur Metadaten: wer die User Story spezifiziert hatte, wer programmiert hatte und wie lange die Umsetzung dauerte. Mit einem ROC von 0,6 half es nicht, sich auf die riskantesten Versionen zu konzentrieren. Die Lehre: Metadaten allein reichen nicht immer. Bessere Kandidaten sind Merkmale wie die Unterbrechungen während der Programmierung und Eigenschaften des tatsächlich geschriebenen Codes.
Der Erfolg (ROC über 0,9). Für einen großen Telekommunikationsanbieter haben wir ein Modell gebaut, das die Wahrscheinlichkeit eines Projektabbruchs vorhersagt. Nach dem Feintuning erreichte es einen ROC von über 0,9. Management und Projektleitungen nutzen die Ergebnisse seitdem für Entscheidungen und für Szenarioanalysen.
Womit man ein Modell füttert
Projektrisiko hat mehrere Dimensionen. Die grundlegendste ist der Abbruch, denn ein abgebrochenes Projekt liefert nie den erwarteten Wert. Auch Budgetüberschreitungen und Verzug schmälern den Wert. Das oft übersehene, vielleicht wichtigste Risiko: Abgeschlossene Projekte liefern nicht den Wert, der versprochen wurde.
Wir beginnen meist mit einem Modell für das Abbruchrisiko. Diese Modelle nutzen 20 bis 40 Eingangsmerkmale, etwa Budgetgröße, erwarteten Wert und Time-to-Market, aber auch die beteiligten Rollen. Trainiert werden sie in der Regel mit mehr als 1.000 Datenzeilen. Erfolgreiche Modelle hatten wir aber auch schon mit 600 Projekten.
Drei Erkenntnisse aus der Praxis:
- Der Startmonat zählt. In manchen Unternehmen werden Projekte, die während des jährlichen Budgetzyklus gestartet werden, häufiger abgebrochen. Den Startmonat als Merkmal aufzunehmen, verbessert das Modell.
- Ein Modell pro Reifegrad. Der ROC steigt, wenn man getrennte Modelle je Projektphase trainiert, zum Beispiel ein Modell für alle Projekte vor dem ersten Gate, eines vor dem zweiten Gate oder vor und nach dem ersten Sprint.
- Die Stimmung im Statusbericht. Für reifere Projekte kommen Merkmale wie die Zahl der Warteschleifen und die Zeit bis zur Entschärfung eines roten Signals hinzu. In fortgeschrittenen Umgebungen werten wir außerdem die Stimmung im wöchentlichen Statustext der Projektleitung aus.
Am meisten überrascht hat uns: Die Modelle mit einem ROC über 0,9 bewerteten gar nicht den Inhalt der Projekte. Die Metadaten allein hatten eine erstaunlich starke Vorhersagekraft.
Wie Unternehmen die Vorhersagen nutzen
Szenarien für Projektleitungen. Projektleitungen sehen die Vorhersage für ihr Projekt und können Szenarien durchspielen, indem sie Eingangsmerkmale ändern: das Team anders besetzen oder das Modell erneut rechnen lassen, sobald offene rote Risiken geschlossen sind. Eine Auswertung der Merkmalswichtigkeit zeigt dabei, welche Faktoren die Abbruchwahrscheinlichkeit am stärksten senken oder erhöhen. Ein Nebeneffekt: Die Datenqualität steigt, denn abgebrochene Projekte haben meist auch schlechte Daten.
Ein zweiter Maßstab für Entscheidungen. Gremien, die über Projekte und Ressourcen entscheiden, bekommen neben dem erwarteten Wert eine zweite Dimension: das vorhergesagte Risiko. Das macht Priorisierung und Gate-Entscheidungen rationaler. Mehr dazu in unserer Podcast-Folge Optimierung von Gate-Entscheidungen mit Machine Learning.
Der Moment der Wahrheit im Management. Spannend wird es, wenn die Liste der abbruchgefährdetsten Projekte der Führungsebene vorgelegt wird. Bei den ersten Projekten auf der Liste nickt das Management meist: Das sehen wir auch so. Dann stellt sich die naheliegende Frage, warum man das Team nicht früher freigibt und weitere versunkene Kosten vermeidet. Weiter unten tauchen aber auch Lieblingsprojekte auf. Die typische Reaktion: Die Führung zieht in den Lenkungsausschuss ein oder greift auf andere Weise ein. Für das Modell ist das eine neue, unbekannte Variable, seine Trefferquote sinkt. Unseren Kunden ist das recht, denn ihr Ziel ist nicht ein möglichst hoher ROC, sondern bessere Projektergebnisse.
Was das für Energieversorger und Netzbetreiber bedeutet
Die Beispiele oben stammen aus Software- und Telekommunikationsportfolios. Das Prinzip lässt sich direkt auf Investitionsportfolios in der kritischen Infrastruktur übertragen. Netzbetreiber und Stadtwerke steuern heute Hunderte bis Tausende Maßnahmen gleichzeitig: Netzausbau, Ersatzinvestitionen, Smart-Meter-Rollout. Die knappe Ressource ist dabei selten das Geld, sondern Umsetzungskapazität: Fachplaner, Monteure, Abschaltfenster.
Abbruch-, Verzugs- und Budgetrisiken früh zu erkennen, heißt hier: Kapazität dort einzusetzen, wo Maßnahmen tatsächlich umgesetzt werden. Wer Zustand und Risiko der Anlagen zusätzlich systematisch erfasst, etwa mit einer Energy Asset Management Software für Energieversorger, verbindet Anlagenrisiko und Projektrisiko in einem Portfolio. Wie sich Investitionen dabei grundsätzlich anders steuern lassen als über die jährliche Einzelgenehmigung, beschreibt Uffective-CEO Dr. Mark van der Pas im Fachbeitrag „A New Paradigm for IT Budgeting“ in The CIO Magazine (englisch). Die Einordnung für Energieversorger lesen Sie in CAPEX Planung: Die teuerste Gewohnheit in der kritischen Infrastruktur.
Häufige Fragen
Was bedeutet KI im Projektportfolio?
Gemeint ist meist Machine Learning: Modelle, die aus abgeschlossenen Projekten lernen und für laufende Projekte Wahrscheinlichkeiten vorhersagen, etwa für Abbruch, Verzug oder Budgetüberschreitung.
Wie viele Projekte braucht man für ein verlässliches Modell?
Typischerweise mehr als 1.000 Datenzeilen. Wir hatten aber auch schon mit rund 600 abgeschlossenen Projekten erfolgreiche Modelle.
Wie erkennt man, ob ein Modell gut ist?
An der Kennzahl ROC. 0,5 entspricht einem Münzwurf, ab 0,8 ist ein Modell gut, über 0,9 sehr gut.
Ersetzt KI die Entscheidung im Lenkungsausschuss?
Nein. Die Vorhersage ist ein zusätzlicher, objektiver Maßstab neben dem erwarteten Wert. Entschieden wird weiterhin von Menschen, nur auf einer besseren Grundlage.
Die Serie zum Weiterlesen
- Was ist maschinelles Lernen?
- Was sind Ähnlichkeitsvorhersagen?
- Wassermelonenprojekte und maschinelles Lernen
- Wie maschinelles Lernen die größten Probleme in Ihrem PMO lösen kann
- Warum heißt unsere KI Sandra?
- Nutzen Sie Machine Learning mit Scrum, um Ihre Ressourcen besser zu planen
- Warum Sie Machine Learning einen Platz am Tisch einräumen sollten
Sehen Sie Ihr Portfolio mit anderen Augen
Wie würden Abbruch- und Budgetrisiken in Ihrem Portfolio aussehen? In einer Demo zeigen wir es Ihnen anhand Ihrer eigenen Fragestellungen. Demo anfragen
