To think or not to think? That is the new question.’
(Nadina Boun, The Thinking Man, Paralysis by Analysis)
1 Inleiding
In dit hoofdstuk vergelijken we de methoden, standaarden, best practices en frameworks die als referentiemodel kunnen dienen onderling door de scores per aspect te vergelijken. Dit geeft ons de gelegenheid om meer te vertellen over de aspecten en de observaties per aspect. In de hoofdstukken 10, 11, 12 en 13 zijn de methoden, standaarden, best practices en frameworks afzonderlijk beschreven en gescoord, en is aangegeven op welke wijze ze voor een evaluatie kunnen worden ingezet. Het worden daarmee dus referentiemodellen.
In bijlage D zijn de vragenlijsten per methode, standaard, best practice en framework opgenomen. In deze vragenlijsten zijn ook de individuele scores opgenomen zoals die door het onderzoeksteam zijn toegekend. Belangrijk daarbij is dat deze scores informatie geven over de aspecten waarop gescoord is, zodat de methoden, standaarden, best practices en frameworks met elkaar vergeleken kunnen worden op inhoud en gebruik. De auteurs doen geen uitspraak over de kwaliteit van de methoden, standaarden, best practices en frameworks.
2 Vergelijkingen per aspect op inhoud
De inhoud van de referentiemodellen beschrijft diverse aspecten die de methode, standaard, best practice of het framework biedt om projecten met een IT-component te kunnen beoordelen.
De meeste referentiemodellen kijken niet alleen naar het project zelf, maar ook naar de organisatie waarbinnen dat project plaatsvindt, zie fig. 1. Onderdelen als volwassenheid, business en IT-alignment, wet- en regelgeving en professionele standaarden worden in verschillende referentiemodellen benoemd. De referentiemodellen die de meeste onderdelen van dit aspect beschrijven zijn PMBOK Guide, ISO9000, BiSL, business case (BC), ASL2, ITIL en OPM3. Opvallend is hier de positie van de BC tussen de meer generieke referentiemodellen op het gebied van projectmanagement, kwaliteitsmanagement en beheer. De BC kijkt breder dan alleen het project zelf, en scoort daarom hoog.
Figuur 1 Referentiemodellen gescoord op organisatie
Een aantal referentiemodellen scoort niet tot laag op het aspect portfoliomanagement. zie fig. 2. Dat houdt in dat een deel van de referentiemodellen geen inhoudelijke relatie legt met bijvoorbeeld het portfoliomanagementproces of met andere projecten binnen de organisatie. Duidelijk is dat vooral referentiemodellen voor projectmanagement als ISO21500, PRINCE2, PMBOK Guide en OPM3 daar wel nadrukkelijk aandacht voor hebben. De ‘middenmoot’ wordt gevormd door Scrum en DSDM Atern en de referentiemodellen die zich meer richten op beheer: ITIL, BiSL en ASL2. In deze beschrijvingen is de context van het project belangrijk en zijn ook input- en outputcriteria erg belangrijk. Die worden dan ook expliciet beschreven in deze methoden.
Figuur 2 Referentiemodellen gescoord op portfoliomanagement
Het onderdeel Organisatie kijkt naar de wijze waarop de relatie tussen het project en de organisatie aandacht krijgt, zie fig. 3. Een aantal referentiemodellen heeft daar weinig tot geen aandacht voor, zoals: BCG. BSC, e-CF, AI, 7S, CVF, Belbin en INK.
De projectmanagementmethoden scoren samen met de BC-aanpak ook hier hoog: PMBOK Guide, BC, ISO21500, PCM en PRINCE2. De ‘middenmoot’ wordt gevormd door de referentiemodellen die rond de ‘3’ scoren. De beheermethoden BiSL, ASL2, ITIL, SRUM en DSDM Atern horen hier bij, evenals ISO9000, ICB-NCB en OPM3.
Figuur 3 Referentiemodellen gescoord op de relatie tussen project en organisatie
Het onderdeel Communicatie kijkt naar de aandacht die er is voor interne en externe communicatie vanuit het project. Een aantal referentiemodellen heeft daar weinig tot geen aandacht voor: CVF, BCG, e-CF en BC. Voor de BC valt dat wel op, omdat juist de business case op de relatie tussen project en organisatie wel hoger scoort. DSDM Atern en Scrum hebben als referentiemodellen veel aandacht voor communicatie, en ook nu scoren de projectmanagementmethoden het hoogst op dit aspect. Alleen ISO21500 scoort hier juist lager, mede door de meer algemene beschrijving in dit referentiemodel.
Figuur 4 Referentiemodellen gescoord op communicatie
Op de BCG-matrix na, hebben alle referentiemodellen aandacht voor onderdelen van de wijze waarop een project is georganiseerd. Voor ongeveer de helft is die aandacht echter vrij beperkt, fig. 5.
De projectmanagementmethoden PRINCE2, ISO21500, PCM en PMBOK Guide, Scrum en DSDM Atern en de referentiemodellen voor kwaliteitsmanagement ISO9000 en projectvolwassenheid OPM3 scoren hier hoog. Ook Belbin en de BC hebben aandacht voor de projectorganisatie. Dit komt door respectievelijk enkele van de rollen die beschreven worden en de aandacht voor de wijze waarop een project tot een op te leveren en implementeerbaar resultaat komt.
Figuur 5 Referentiemodellen gescoord op projectorganisatie
Verandermanagement, veranderkundige elementen en aandacht voor bijvoorbeeld benefitsmanagement komen vrij beperkt aan de orde in de diverse referentiemodellen, zie fig. 6. ASL2 en ITIL kijken er als referentiemodel wel nadrukkelijk naar, omdat bijvoorbeeld het inrichten van beheer ook aandacht vergt van de implementatie van
Figuur 6 Referentiemodellen gescoord op verandermanagement
nieuwe producten en het monitioren van bijvoorbeeld changes op proces en IT. Ook de BC kijkt naar verandermanagement omdat dit referentiemodel aandacht heeft voor de benefits van het gebruik van opgeleverde projectresultaten. Tot slot besteedt ook DSDM Atern aandacht aan verandermanagement, mede door de betrokkenheid van de productowners en de mate waarin het eindproduct direct gebruikt kan worden in de gebruikersorganisatie.
3 Vergelijkingen per aspect op gebruik
Het gebruik van de referentiemodellen beschrijft diverse aspecten van de beschikbaarheid, bruikbaarheid en toepasbaarheid van de referentiemodellen. In deze paragraaf analyseren we de uitkomsten van de referentiemodellen per aspect.
Over het algemeen scoren veel van de referentiemodellen hoog op de wijze waarop de eigenaar het beheer & exploitatie uitvoert, fig. 7. Vooral de referentiemodellen die we al langer kennen in het IT-domein en die ook veel gebruikt worden, scoren hoog. 7S, CVF, BCG en BC scoren wat lager. Deze referentiemodellen kenmerken zich door een enkele eigenaar en de afwezigheid van een actieve gebruikersgroep.
Figuur 7 Referentiemodellen gescoord op beheer & exploitatie door de eigenaar
In figuur 8 is te zien dat veel referentiemodellen door gebruikers goed kunnen worden toegepast. Veel referentiemodellen geven voldoende handvatten voor toepassing. Dat houdt in dat men met het beschikbare openbare materiaal al ver komt om de referentiemodellen toe te kunnen passen. De stap naar het daadwerkelijk in de praktijk toepassen van een dergelijk referentiemodel als basis voor een evaluatie, ligt vervolgens ook dicht bij. Wat opvalt, is dat de ISO-normen hier lager scoren. Deze standaarden kennen een meer algemene beschrijving en bieden in verhouding minder handvatten voor directe toepassing door de gebruiker dan bijvoorbeeld PMBOK Guide, INK en ITIL. Ook Scrum scoort wat lager. Dit komt omdat hier het brondocument is beoordeeld. Voor veel referentiemodellen, ook voor Scrum, bestaan er aanvullende opleidingen die daadwerkelijk het gebruik en de implementatie vergemakkelijken. Dat is echter in deze analyse niet meegenomen.
Figuur 8 Referentiemodellen gescoord op beheer & exploitatie voor de gebruiker
De bruikbaarheid van alle referentiemodellen scoort hoog, fig. 9. Dat houdt dus in dat de referentiemodellen die in dit boek gepresenteerd worden, ook daadwerkelijk in de praktijk voorkomen bij diverse soorten organisaties, en tevens goed te combineren zijn met andere aanpakken en methoden. De verschillen tussen de referentiemodellen zitten vooral in de hulp om vanuit de referentiemodellen te rapporteren. De verklaring voor de hoge scores ligt in de voorselectie. Daarin is nadrukkelijk gekeken naar beschikbaarheid van de documentatie in het openbare domein en de bewezen toepassing van het referentiemodellen. Puur theoretische referentiemodellen zijn niet in de selectie meegenomen.
Figuur 9 Referentiemodellen gescoord op bruikbaarheid
De denkwijze per referentiemodel kent een grote variatie, fig. 10. We kijken hier naar de impliciete of expliciete aanwezigheid van de achterliggende theorie waarop de methode is gebouwd. Voor een aantal referentiemodellen is die achterliggende theorie niet duidelijk aanwezig. Het ICB(NCB) beschrijft bijvoorbeeld uitgebreid de competenties, maar verwijst daarbij minder duidelijk naar de uitgangspunten in diverse theoretische disciplines dan bijvoorbeeld INK, BiSL en PMC. Voor een deel is dat te verklaren door het soort referentiemodel. ICB(NCB) beschrijft competenties en zal dus minder verwijzingen kennen naar verandermanagement, organisatiegedrag of architectuur. ISO9000, INK, BiSL en PCM geven bredere beschrijvingen en daarmee ook meer aanknopingspunten naar achterliggende theorie, toepassingsgebieden en organisatietypologie. Ook hier is dus duidelijk dat een lagere score vooral indicatief is voor het aantal geraakte deelvragen tijdens de beoordeling van de denkwijze en geen kwalitatief oordeel geeft over de referentiemodellen als zodanig.
Figuur 10 Referentiemodellen gescoord op denkwijze
In de mate van ondersteuning bij het toepassen van de referentiemodellen zijn ruwweg drie groepen te onderscheiden, fig. 11. De eerste groep (CVF, 7S, BCG, BiSL, ICB(NCB) en ITIL) geeft een beperkt aantal hulpmiddelen in de vorm van sjablonen of de beschrijving van technieken. De tweede groep (ASL2, ISO9000, e-CF, PMBOK Guide, ISO21500, PRINCE2 en BSC) geeft meer handvatten bij dit onderwerp. De derde groep (AI, Scrum, OPM3, INK, Belbin, BC, Atern en PCM) geeft de meeste toegang tot ondersteunende middelen. Dat kan direct zijn in de beschrijving van de referentiemodellen, maar ook door extra aanbod van een kennisbank, voorbeelden op een website of gegevens vanuit andere gebruikers.
Figuur 11 Referentiemodellen gescoord op ondersteuningswijze
Het onderdeel Representatie laat duidelijk zien dat sommige referentiemodellen alleen een representatiemodel hebben, maar geen uitspraken doen over hoe de resultaten, die gevonden worden met deze referentiemodellen, vervolgens gepresenteerd moeten of kunnen worden, fig. 12. Andere beschrijven dat juist wel. Vanaf BiSL en verder worden de handreikingen voor representatie expliciet gemaakt in de beschrijvingen. Opvallend zijn de zeer hoge scores van INK, PMBOK Guide, DSDM Atern en PRINCE2 die uitgebreid ingaan op de wijze van representatie en veel hulpmiddelen aanreiken op dit aspect.
Figuur 12 Referentiemodellen gescoord op representatie
De werkwijze laat zien dat een aantal modellen weinig tot geen handvatten geeft voor het daadwerkelijk toepassen als evaluatie-instrument. De brondocumentatie is daar vaak ook niet geschikt voor, zoals de korte beschrijving van de BCG-matrix en de toelichting op het 7 S’en model. Andere referentiemodellen zijn vooral beschrijvend
Figuur 13 Referentiemodellen gescoord op werkwijze
ofwel op een specifiek onderdeel, zoals CVF en ICB(NCB), ofwel heel generiek, zoals ISO9000. Vervolgens stijgen de scores redelijk snel, en worden de referentiemodellen verrijkt met werkwijzen. Opvallend zijn de zeer hoge scores van BiSL, Scrum, ISO21500, Atern en PRINCE2 die uitgebreid ingaan op de werkwijze en veel ondersteuning bieden op dit aspect.
4 Onderlinge vergelijking van alle methoden
In de onderstaande analyse van de referentiemodellen is geprobeerd om alle hierboven beschreven aspecten onderling met elkaar te vergelijken. De essentie daarbij is om drie dimensies te vinden waarlangs de verschillende referentiemodellen op een herkenbare manier ten opzichte van elkaar kunnen worden gepositioneerd. Daarvoor is het nodig dat deze dimensies voldoende onderscheidend zijn. Een dergelijke analyse geeft extra inzicht in het verschil tussen de referentiemodellen. Dit heeft toegevoegde waarde voor lezers die in een oogopslag een overzicht willen zien om een keuze te kunnen maken uit de referentiemodellen. De keerzijde is dat de scores op verschillende aspecten zonder pardon worden samengevoegd. De nuance die we eerder per referentiemodel hebben aangebracht, verdwijnt als we het op deze manier onderling positioneren.
Om een vergelijking te maken hebben we de inhoudelijke scores voor ieder referentiemodel afgezet tegen de methodische onderbouwing. Als derde variabele hebben we de continuïteit en de bruikbaarheid genomen. Deze drie dimensies zijn ieder dus samengestelde dimensies van een groot aantal onderliggende scores:
- Inhoud betreft het gemiddelde van alle scores per referentiemodel van de aspecten op het onderdeel ‘inhoud’, dus: organisatie, portfoliomanagement, relatie projectorganisatie, communicatie, projectorganisatie en –management en verandermanagement.
- Continuïteit en bruikbaarheid betreft het gemiddelde van de scores per referentiemodel van de aspecten beheer- & exploitatiewijze eigenaar, beheer- & exploitatiewijze gebruiker en bruikbaarheid.
- De methodische onderbouwing betreft het gemiddelde van de scores per referentiemodel van de aspecten denkwijze, ondersteuningswijze, representatie en werkwijze.
De resulterende scores zijn verwerkt in tabel 1 en weergegeven in figuur 14
Tabel 1 De resulterende scores
Figuur 14 Onderlinge vergelijking van de referentiemodellen
Deze vergelijking van de verschillende referentiemodellen levert het volgende beeld op:
- De referentiemodellen linksonder zijn beperkt toepasbaar en de methodische onderbouwing is vrij summier. Het gaat om ICB(NCB), het 7 S’en model, de BCG-matrix en CVF. Deze referentiemodellen helpen het denkproces en kunnen
- inspireren, maar zullen vanuit hun beschrijving minder handvatten bieden voor het opzetten van een evaluatie.
- De referentiemodellen linksboven (ITIL en ISO9000, en in mindere mate BC) zijn breed toepasbaar, maar zijn eveneens wat minder methodisch onderbouwd. Ze kunnen richtinggevend zijn, maar bieden relatief minder methodische ondersteuning bij de inrichting van een evaluatieaanpak. Dat impliceert ook dat ze minder voorschrijvend zijn en meer ruimte overlaten voor de toepassende organisatie.
- De referentiemodellen rechtsboven zijn breed inzetbaar en methodisch ook goed uitgewerkt. Ze leveren veel input op voor een samen te stellen vragenlijst of andere toepassing voor het uitvoeren van een evaluatie. Dit zijn typisch de veel gebruikte en goed uitgewerkte projectmanagementmethoden (PRINCE2, PMC en PMBOK Guide), alsmede OPM3 en agile-methoden als DSDM Atern en in iets mindere mate Scrum. Ook ISO21500 zit in deze hoek, terwijl ASL2 en BiSL een beetje tussen deze en de vorige groep in hangen.
- De referentiemodellen rechtsonder zijn goed uitgewerkt, maar veel meer voor nichetoepassingen in de context van evalueren geschikt. INK, Belbin springen er hierbij het meest uit. BSC, AI en e-CF vormen een iets minder methodisch uitgewerkt groepje. Deze referentiemodellen kunnen aanvullende vragen formuleren die in een evaluatie gebruikt kunnen worden, maar ze kijken minder breed naar het project dat geëvalueerd wordt.
5 Conclusie
In deze paragraaf zijn de referentiemodellen naast elkaar gezet per aspect van inhoud en gebruik. Daarmee is een extra handvat gegeven bij het maken van keuzes welke referentiemodellen gebruikt kunnen worden bij een evaluatie van een project met een IT-component. Geen enkel referentiemodel is ‘de beste’ of ‘de meest uitgebreide’. Interessant is dat de referentiemodellen per aspect verschillen. Dat houdt dus in dat bij het opzetten van een uitgebreide evaluatie van een project met een IT-component geput kan worden uit meerdere referentiemodellen. De beschrijvingen van deze referentiemodellen kunnen dienen als basis voor verdere operationalisatie van de evaluatievragen. Daarmee kan een evaluatie verdiept en verrijkt worden, en dat vergroot de kans dat we bevindingen doen die beter bijdragen aan onze beeldvorming ten aanzien van een project. Tevens draagt deze verdieping bij aan een belangrijk leerproces, namelijk: het ‘leren van evalueren’.
Wouter Bronsgeest en Arjen Santema
The post Onderlinge vergelijking van de referentiemodellen appeared first on EN | Van Haren Publishing.
