‘Essentially, all models are wrong, but some are useful.’
(George E. P. Box, Norman R. Draper, 1987)
1 Inleiding
In dit hoofdstuk beschrijven we in het kort de wijze waarop de methoden, best practices, standaarden en frameworks met elkaar vergeleken zijn. In de volgende hoofdstukken volgen de nadere toelichtingen per methode, best practice, standaard en framework, inclusief een vergelijkende score die is gevisualiseerd in een radardiagram en een korte reflectie op de scores.
Vanaf nu spreken we ook van referentiemodellen, omdat de methoden, best practices, standaarden en frameworks uit de shortlist als referentie gebruikt worden in de evaluatie. Het referentiemodel wordt daarmee een toetskader, of onderdeel van een toetskader voor het uitvoeren van een evaluatie.
In dit boek geven we geen beoordeling van methoden, best practices, standaarden en frameworks zelf in de zin van ‘goed’ of ‘minder goed’. We hebben de methoden, best practices, standaarden en frameworks naast elkaar gezet en beoordeeld op de mogelijkheden die ze bieden om een evaluatie uit te voeren. De scores in de diagrammen zijn dus alleen te lezen als relatief ten opzichte van elkaar. De hoogte van de scores is dan ook géén indicatie van een waardeoordeel of een rangorde. De scoring helpt slechts bij het bepalen van de toepassing van de verschillende referentiemodellen voor een evaluatie van een project.
De referentiemodellen uit de shortlist zijn gescoord op het ‘gebruik’ en de ‘inhoud’ van het referentiemodel. Dit is gedaan aan de hand van vragenlijsten. Daarbij is gebruikgemaakt van dezelfde aanpak als in het boek Wegwijzer voor methoden bij enterprise-architectuur (Van Rijn et al., 2013). Deze aanpak is reeds tweemaal beproefd voor dit boek over enterprise-architectuurmodellen, en nu een derde keer toegepast. Voor het scoren van ‘gebruik’ is een deel van de vragen hergebruikt. Daarnaast zijn aanvullende vragen toegevoegd. Voor het scoren van ‘inhoud’ is uitgegaan van de kennis van de werkgroep, aangevuld met de inhoudelijke kennis uit het onderzoek aan de Universiteit Twente naar het ‘Evalueren van projecten met een IT-component bij de overheid’.
In de bijlage van dit boek is de operationalisatie te lezen van de hierna beschreven aspecten, en zijn ook de antwoorden van de experts en de bijbehorende scores van de expertgroep opgenomen.
2 Gebruik
Gebruik van het referentiemodel bevat de scores die iets zeggen over de volgende aspecten:
• Beheer- en exploitatiewijze eigenaar.
• Beheer- en exploitatiewijze gebruiker.
• Bruikbaarheid.
• Denkwijze.
• Ondersteuningswijze.
• Representatie- en modelleerwijze.
• Werkwijze.
Deze aspecten worden in de volgende subparagrafen besproken.
2.1 Beheer- en exploitatiewijze eigenaar
Dit betreft de mate waarin de eigenaar het referentiemodel in beheer heeft en proactief exploiteert. Hierbij horen diverse vragen over de wijze waarop het referentiemodel openbaar beschikbaar is, en of er een gebruikersgroep bestaat rondom dit referentie- model. Een actieve gebruikersgroep waar je je bij kunt aansluiten is een voordeel voor de disseminatie binnen organisaties. Professionals hebben dan een plek voor het stellen van vragen en het ophalen van nieuwe en aanvullende kennis en de toepassing daarvan. De aanwezigheid van een knowledge base of een plek waarop actief ervaringen worden opgebouwd, helpt bij een goed beheer en de noodzakelijke exploitatie.
Ook het certificeren van personen die het toepassen helpt bij de wijze waarop de methode, best practice, standaard of het framework robuust is en toepasbaar wordt gemaakt voor gebruik. Als je je kunt opleiden, is de kans groot dat de methode, best practice, standaard of het framework goed wordt toegelicht. Dat maakt de toepassing ervan eenduidiger dan bijvoorbeeld alleen met zelfstudie kan worden bereikt. Het geeft tevens aan dat de methode, best practice, standaard of het framework breder toegepast wordt.
Daarnaast is een goede indicatie voor beheer & exploitatie van de methode, best practice, standaard of het framework als er regelmatig nieuwe versies of updates komen. De eigenaar van de methode, best practice, standaard of het framework zal leren van de toepassing ervan, en de feedback van professionals die de methode, best practice, standaard of het framework toepassen. Als deze leercirkel actief is, zal er vaker een aanpassing komen. Dit vereist dan ook een formele en erkende eigenaar.
2.2 Beheer- en exploitatiewijze gebruiker
In deze subparagraaf staat niet de eigenaar, maar de toepasser of gebruiker van de methode, best practice, standaard of het framework centraal: kan een gebruiker er eenvoudig mee aan de slag, zijn er handvatten om te starten of mogelijkheden om hulp in te roepen?
Denk bij het gebruikersperspectief bijvoorbeeld aan het feit of er praktische tips geboden worden voor het implementeren of toepassen van de methode, best practice, standaard of het framework in een organisatie. Praktische tips die met de methode, best practice, standaard of het framework worden meegeleverd, helpen met een beter gebruik ervan. Daarnaast is het belangrijk dat de methode, best practice, standaard of het framework kan worden afgestemd op en ingebed in de eigen werkwijze van een organisatie. Veel organisaties gebruiken meerdere manieren om de organisatie in te richten, of om bijvoorbeeld de architectuur of de bedrijfsvoering te organiseren. Indien de methode, best practice, standaard of het framework daarop weet aan te sluiten, of tenminste niet conflicteert met andere methoden, helpt dat bij het gebruik. In het geval dat gebruikers zelf gecertificeerd kunnen worden, helpt dat bij de exploitatie.
2.3 Bruikbaarheid
Bruikbaarheid geeft aan of een methode, best practice, standaard of framework wel toegepast wordt, en op welke wijze die gecombineerd wordt met andere aanpakken en methoden. Dit is onder meer af te leiden uit het aantal organisaties (publiek en privaat) dat gebruikmaakt van de methode, best practice, standaard of het framework. Belangrijk daarbij is ook, of een methode, best practice, standaard of framework voor meerdere sectoren kan worden ingezet of niet. Denk daarbij aan financiële instellingen, zoals banken, of de gezondheidszorg of lokale, regionale en nationale overheden.
Bruikbaarheid van de methode, best practice, standaard of het framework laat zich ook aflezen aan de wijze waarop specifieke rapportages of dashboards kunnen worden geleverd om betrokkenen, opdrachtgever of management te informeren. Als de gebruiker hierbij geholpen wordt, neemt de bruikbaarheid toe.
Tot slot is de bruikbaarheid af te leiden uit de manier waarop de methode, best practice, standaard of het framework samengaat met andere aanpakken binnen een organisatie. Een methode, best practice, standaard of framework die andere zaken meet, of zelfs in de uitvoering een disruptieve uitwerking heeft, is minder goed bruikbaar. Dat wil overigens niet zeggen dat een dergelijke methode, best practice, standaard of framework niet nuttig is. Het kan juist goed zijn om een schokeffect te bereiken om aandacht voor een onderwerp te vragen of om er de urgentie van aan te tonen, of om informatie naar boven te halen die anders niet gedeeld wordt. Dat vergt echter in de aanpak van de evaluatie ook een specifieke aanpak van zowel opdrachtgever als gebruiker, bijvoorbeeld een evaluator.
2.4 Denkwijze
De denkwijze beschrijft of een methode, best practice, standaard of framework een achterliggende theorie heeft vanuit kwaliteitsmanagement, of vanuit de theorie van veranderen, cultuur, besturing, organisatiegedrag of evalueren. Dit kan zowel impliciet als expliciet uit de documentatie blijken. In de eerste plaats is gekeken naar het aantal inhoudelijke toepassingsgebieden. Denk daarbij aan onder andere cultuur, veranderen, portfolio en architectuur. Ten tweede is gekeken naar het toepassingsniveau: operationeel, tactisch, strategisch, of een combinatie van deze drie. Ten derde is gekeken of er nog onderscheid wordt gemaakt tussen organisatietypologieën.
Evalueren is een multidisciplinair vakgebied. Hoe meer van deze vakgebieden ten grondslag liggen aan de methode, hoe gedegener de denkwijze achter de methode, best practice, standaard of het framework is. In dit boek is uitgegaan van de mogelijke aanwezigheid van achterliggende theorie vanuit:
• besturing van het evalueren / het evaluatieproces zelf;
• de visie op leren;
• de visie op cultuur;
• de visie op kwaliteit;
• de visie op evalueren;
• de visie op veranderen.
2.5 Ondersteuningswijze
Bij de ondersteuningswijze is gekeken naar de middelen die worden meegeleverd, zoals sjablonen en andere ondersteunende hulpmiddelen. Daarbij is de vraag gesteld of er beschreven is van welke technieken de gebruiker van de methode moet uitgaan, bijvoorbeeld specifieke interviewtechnieken, groepssessies, data-analyse of andere technieken.
Daarnaast is nagegaan of er concrete sjablonen en/of voorbeelden van op te leveren producten zijn binnen de methode, best practice, standaard of het framework en of er een lijst met begripsdefinities is.
2.6 Representatie- en modelleerwijze
De representatie- en modelleerwijze houdt in dat de methode, best practice, standaard of het framework eenvoudig representeerbaar is en dat de gebruikte begrippen en aanpak eenduidig zijn. In het onderzoek is dan ook gekeken naar de eisen of technieken voor het opstellen van rapportages en het vastleggen van resultaten. Daarnaast is gekeken of er aanvullende visualisatie- en presentatietechnieken beschikbaar zijn voor het presenteren van resultaten en conclusies.
Tot slot is nagegaan of de betreffende methode, best practice, standaard of het framework ook zelf gerepresenteerd kan worden in een plaatje of schema. Dit maakt dat het eenvoudiger is om aan de opdrachtgever en de betrokkenen uit te leggen wat de meerwaarde is, en op welke manier een evaluatie kan worden vormgegeven vanuit de gedachte van het gebruik.
2.7 Werkwijze
In dit deel van de vragenlijst gaan we na of een werkwijze is beschreven voor de toepassing van het referentiemodel. Een goede uitleg helpt ook weer met het eenvoudig toepassen van deze methode. Er is dus nadrukkelijk nagegaan of de methode ook een gestructureerde werkwijze meelevert om te komen tot de te leveren (evaluatie) producten. Daarnaast is onderzocht of deze werkwijze ook inhoudelijk onderbouwd is. Bijvoorbeeld of de methoden een wetenschappelijke oorsprong hebben en of ze wetenschappelijk gevalideerd kunnen worden. Tot slot hoort bij een goede beschrijving ook een verduidelijking van de rollen van betrokkenen en hun verantwoordelijkheden. Als die duidelijk zijn, is de werkwijze van een methode een stuk eenvoudiger implementeerbaar.
3 Inhoud
Inhoud van een methode, best practice, standaard of framework bevat scores die iets zeggen over de volgende aspecten:
- organisatie;
- portfoliomanagement;
- relatie tussen project en de organisatie;
- communicatie;
- projectorganisatie en –management;
- verandermanagement.
3.1 Organisatie
In dit onderdeel van de vragenlijst onderzoeken we of er in de methode, best practice, standaard of het framework aandacht is voor de organisatie waarin het project een plek heeft. Daarmee onderzoeken we dus of sprake is van een scope buiten het project. Dat is bijvoorbeeld te zien aan de aandacht die er is voor de bedrijfs- of organisatiedoelstellingen die relevant zijn voor het project. Een apart aandachtspunt daarbij is de aandacht voor de relatie tussen de business en IT, omdat die twee werelden vaak apart beschouwd worden in methoden, en vaak ook als aparte organisatieonderdelen zijn ingericht. De alignment tussen business en IT is daarmee ook geadresseerd.
De alignment tussen business en IT is daarnaast ook meetbaar via de aandacht die door de methode gegeven wordt aan de relatie tussen de gebruikers van de eindproducten van een project en de IT. Denk bijvoorbeeld aan de betrokkenheid van gebruikers bij het opstellen van requirements, tijdens de realisatiefase van een project of de aandacht voor usability en diverse testen. Een afgeleide van deze alignment is de relatie met andere relevante stakeholders binnen de organisatie of zelfs buiten de organisatie, zoals leveranciers.
Aandacht voor de organisatie is ook af te lezen aan de aandacht voor het onderwerp ‘volwassenheid’ van de organisatieprocessen op gebied van Ontwikkeling, Beheer, Operatie en Kwaliteit, en de mate waarin de organisatiecultuur is meegenomen. De cultuur heeft namelijk ook effect op de uitvoering van een project en kan in een evaluatie relevant zijn om te onderzoeken. Cultuur kan beschreven worden in diverse cultuuraspecten of bijvoorbeeld ook via organisatiemetaforen.
Een andere factor vanuit de organisatie die relevant is voor een project, zijn wet- en regelgeving. Dit kan zowel formele wet- en regelgeving als bedrijfsregels betreffen.
Tot slot kan een project gebruikmaken van geldende specifieke professionele standaarden. Vaak hebben organisaties hun eigen set aan standaarden, naast relevante marktstandaarden voor bijvoorbeeld projectmanagement, beheer of voor het auditen of evalueren van projecten.
3.2 Portfoliomanagement
Voor portfoliomanagement wordt onderzocht of de methode, best practice, standaard of het framework een inhoudelijke relatie onderzoekt met bijvoorbeeld het portfolio- managementproces of met de relatie van het te evalueren project met andere projecten binnen de organisatie.
Dit is onder meer af te leiden aan de aandacht voor input- en outputeisen en -criteria. Die worden vaak vanuit de externe omgeving opgelegd aan projecten, bijvoorbeeld vanuit een bredere programma-aanpak of vanuit al dan niet expliciete portfolio- managementprocessen. In het verlengde van deze eisen kan ook nog aandacht gegeven worden aan de waarde van een specifiek project binnen een portfolio van projecten. Is bijvoorbeeld het te evalueren project belangrijker dan andere projecten, en is dat in de evaluatiemethode onderwerp van aandacht?
Aandacht voor portfoliomanagementprocessen kan ook afgeleid worden van vragen over het eindproduct van een project en de toegevoegde waarde van het uit dat project voortvloeiende product. Vaak ligt er vervolgens een relatie met de business case van een project. In de vorm van (deliverables) van het project zelf kan gemeten worden wat een project oplevert, en daarna kan de relatie gelegd worden naar het bijhouden van de eerder opgestelde business case, of naar diverse soorten van kosten-baten- berekeningen (denk aan Total Cost of Ownership (TCO), Activity-based Costing (ABC), Return on Investment (ROI), Resource Consumption Accounting (RCA) of Process Based Costing (PBC)).
3.3 Relatie tussen project en de organisatie
In dit onderdeel van de vragenlijst wordt nadrukkelijk gekeken naar de relatie tussen project en organisatie. Daarmee lijkt dit onderdeel erg op het eerste aandachtsgebied, namelijk die van de organisatie. Nu gaat het echter nadrukkelijk over de relatie tussen het project en de organisatie.
Deze relatie is meetbaar in een methode die aandacht heeft voor de governance van het project, bijvoorbeeld in de vorm van rapportages, sturingsmechanismen en een organogram. Ook de wijze waarop de control op een project plaatsvindt is daarbij belangrijk. Control, vaak ook via kwaliteitsmanagementsystemen, lessons learned, Quality Assurance of Quality Control waarneembaar, is daar een concreet voorbeeld van.
Een andere wijze waarop deze relatie in kaart kan worden gebracht, is als een methode onderzoek doet naar stakeholdersmanagement. De relevante partijen, waaronder natuurlijk de opdrachtgever van een project, worden via enkele vragen in kaart gebracht. De opdrachtgever krijgt daarbij aparte aandacht: het mandaat van de opdrachtgever en de rol en de taal van de opdrachtgever in relatie tot het project beschrijven een belangrijk deel van de relatie tussen project en organisatie.
3.4 Communicatie
Het beoordelen of een methode, best practice, standaard of framework aandacht heeft voor communicatie, gebeurt door te kijken naar zowel de interne (project-) communicatie als de externe communicatie. De externe communicatie kan de eigen organisatie betreffen, maar zich ook richten naar de stakeholders van de organisatie. Ten eerste wordt daartoe gekeken naar de beschikbaarheid van een visie en de manier van communiceren. Indien daarvoor aandacht is, kan vervolgens worden onderzocht op welke wijze de communicatielijnen tussen project, business en IT onderwerp van aandacht zijn.
Ten tweede kan gekeken worden naar de eigen projectcommunicatie. Als die er is, zal er mogelijk ook aandacht zijn voor de wijze van evalueren. De hulpmiddelen voor communicatie zijn bijvoorbeeld een website, nieuwsbrieven, internetberichten, prijzen, kranten en overige media. De wijze van communiceren met deze hulpmiddelen kan daarbij heel zendergericht zijn. Ook is het mogelijk om samen met eindgebruikers in co-creatie te werken aan communicatie. Met andere woorden, hier wordt onderzocht of er aandacht wordt besteed aan de wijze van communiceren tijdens het project, met als voorbeelden een open of gesloten communicatie, een hiërarchische of egalitaire vorm, formeel of informeel.
3.5 Projectorganisatie en –management
De wijze waarop de projectorganisatie aandacht krijgt in een methode, best practice, standaard of framework, wordt in een groot aantal vragen onderzocht. Dit behelst de inhoudelijke kern van het referentiemodel. De eerste vraag daarbij is of er aandacht wordt besteed aan projectvolwassenheid. Denk aan volwassenheidsniveaus, verwijzingen naar certificering en/of bepaalde beleids-, strategie- of visiestukken van het project of van de projectmanagementorganisatie. Projectvolwassenheid is in veel projectmanagementmethoden een belangrijk onderwerp om op te evalueren. Elementen van de volwassenheid van een project zijn de wijze waarop lessons learned uit eerdere projecten worden gebruikt, of hoe andere relevante bronnen in een project worden toegepast. Een ander onderdeel van deze volwassenheid is de wijze waarop de opdrachtomschrijving van een project beschikbaar is of tot stand komt.
De wijze waarop de projectstructuur is beschreven is een ander element dat te meten is. Denk aan de aandacht voor structuren of een organogram van een project. Bij dergelijke structuurvragen hoort ook de vraag naar taken, rollen, verantwoordelijkheden en bevoegdheden (TRVB) van de projectleden. Rolbeschrijvingen kunnen ook terug te voeren zijn op competentieframeworks of op teamrollen als MBTI, Enneagram en Belbin.
Ook wordt getoetst of er aandacht is voor de projectleden. Zo wordt getoetst of de projectomgeving aandacht krijgt, en of er voldoende rekening wordt gehouden met de capaciteit / bemensing van het project in de methode. Ook wordt getoetst of aan de competenties, ervaring, vaardigheden en houding van medewerkers voldoende aandacht wordt besteed. Daarop volgend is ook de aandacht voor opleidings- en ontwikkelmogelijkheden belangrijk. Eén van die competenties is leiderschap, een element dat in de projectmanagementliteratuur veel aandacht heeft. Denk aan voorbeelden als leiderschapsstijl, de rol van het management en de ‘tone at the top’.
Projecten kennen diverse processen. In de vragenlijst wordt getoetst of daar aandacht voor is. Denk dan aan projectmanagementprocessen zoals planning, tracking, reporting, kwaliteitsmanagement en wijzigingenbeheer. Een ander onderdeel zijn de diverse ontwikkelprocessen, waaronder architectuur, requirementsmanagement, configuratiemanagement, subcontracting, testen, en het opstellen van acceptatiecriteria. Ook de aandacht voor risicomanagement en de wijze waarop daarover gerapporteerd wordt, is belangrijk.
Tot slot hebben projecten hulpmiddelen nodig. De projectmanagers zullen mogelijk methoden hebben om aan hun metrieken te komen, bijvoorbeeld op gebied van doorlooptijd, productiviteit en continuïteit. En projecten hebben specifieke tooling, denk aan tools voor projectsturing, procesontwerp, architecturen, bedrijfsvoering, softwareontwikkeling of testen.
3.6 Verandermanagement
Hierbij wordt onderzocht of de methode, best practice, standaard of het framework ook aandacht heeft voor veranderkundige elementen van het project. Een van de vragen is op welke wijze aandacht wordt besteed aan het monitoren van de gewenste verandering. Belangrijke elementen daarin zijn waarde en benefitsmanagement. Als via een referentiemodel tijdens het evalueren daarnaar gekeken wordt, kunnen ook uitspraken gedaan worden over verandermanagementaspecten van een project.
Vaak volgt op veranderen aandacht voor de implementatie van projectresultaten, bijvoorbeeld via expliciete aandacht voor de overdracht van project naar de lijn, overdrachtsmomenten naar de lijn, en nazorg en implementatieactiviteiten en -plannen. Onderdeel daarvan zijn bijvoorbeeld de training van gebruikers en (het begeleiden van) de invoering van de eindresultaten van het project. De veranderopgave waarin de transitie van de oude naar de nieuwe situatie wordt overgegaan, verdient hier aandacht.
4 Conclusie
In dit hoofdstuk is de basis behandeld van de twee uitgebreide vragenlijsten met betrekking tot het beoordelen van de methoden, best practices, standaarden en frameworks die ingezet worden als referentiemodel bij het evalueren van projecten met een IT-component. Per referentiemodel worden de twee vragenlijsten toegepast, wat ook weer resulteert in twee visualisaties: een die indicaties geeft voor het gebruik van een methode, best practice, standaard of framework, en een die indicaties geeft voor de inhoud die met het referentiemodel onderzocht kan worden. Dit helpt bij de keuze voor een evaluatieaanpak: door zowel op inhoud als op gebruik te scoren, kan vooraf een goede indicatie gegeven worden waarvoor de methode, best practice, standaard of het framework inhoudelijk ingezet kan worden, en of dat eenvoudig te doen is in het gebruik of niet. In de hoofdstukken 10 tot en met 13 staan de methoden, best practices, standaarden en frameworks beschreven, ingedeeld naar de domeinen People, Process, Product en Multicriteria.
Wouter Bronsgeest
The post De referentiemodellen vergeleken appeared first on EN | Van Haren Publishing.
