Naar een shortlist

 

‘We have no idea about the ‘real’ nature of things … The function of modelling is to arrive at descriptions which are useful’.

Richard Bandler and John Grinder (1979)

1   Inleiding

Dit hoofdstuk beschrijft het keuzeproces om tot een shortlist te komen van methoden, best practices, standaarden en frameworks die daadwerkelijk voor evaluaties gebruikt worden. Daartoe zijn stappen gezet om vanuit een longlist te komen tot een shortlist. Een deel van de methoden, best practices, standaarden en frameworks om te evalueren is daadwerkelijk bedoeld om kwaliteit te meten, te evalueren en te leren. Een ander deel van de methoden, best practices, standaarden en frameworks is dat van oorsprong echter niet. Toch zijn deze methoden, best practices, standaarden en frameworks opgenomen, omdat ze vaak wel gebruikt worden in evaluatiesettings. In dit hoofdstuk wordt dus de basis gelegd voor het tweede deel van dit boek: de selectie van methoden, best practices, standaarden en frameworks. Vervolgens gaan we de methoden, best practices, standaarden en frameworks met elkaar vergelijken op de aspecten gebruik en inhoud.

2   Opstellen longlist

De longlist van methoden, best practices, standaarden en frameworks is tot stand gekomen door de volgende negen stappen te doorlopen.

Stap 1: Inventariseren van methoden, best practices, standaarden en frameworks zoals die zijn beschreven in de literatuur

In de literatuur van kwaliteitsmanagement, evalueren, projectmanagement, organisatiewetenschap, bestuurswetenschap, organisatiegedrag, (IT-)auditing en accountancy zijn diverse modellen, methoden, best practices, standaarden en frameworks beschreven. Deze zijn opgenomen in de longlist.

Stap 2: Inventariseren van methoden, best practices, standaarden en frameworks om projecten in te richten

Er is onderzoek gedaan naar methoden, best practices, standaarden en frameworks die gebruikt worden om projecten en programma’s in te richten, en die ook gebruikt kunnen worden om deze projecten en programma’s te toetsen op de volwassenheid van de uitvoering van de werkzaamheden. Hierbij zijn zowel project- en program- mamanagementmethoden gevonden  als mede methoden, best practices, standaarden en frameworks om de projectvolwassenheid te meten. Ook deze zijn opgenomen in de longlist.

Stap 3: Inventariseren van methoden, best practices, standaarden en frameworks om  te certificeren

Er is gezocht naar methoden, best practices, standaarden en frameworks die los van deze project- en programmamethoden zijn opgesteld om ingezet te worden bij het vaststellen van het succes van de projecten en programma’s voor een organisatie. Diverse certificerende instellingen hebben daarvoor een divers instrumentarium ontwikkeld dat op verschillende manieren en verschillende niveaus ingezet kan worden. Deze zijn toegevoegd aan de longlist.

Stap 4: Inventariseren van methoden, best practices, standaarden en frameworks voor organisatie-evaluatie en -audits

Ten vierde is gezocht naar methoden, best practices, standaarden en frameworks die gebruikt worden voor evaluaties en audits op het niveau van de organisatie. Ook die zijn aan de longlist toegevoegd. Projecten hebben tot doel om een stuk van een verandertraject uit te voeren, en hebben daarmee impact op de organisatie als geheel. Vaak worden (delen van) organisaties geëvalueerd in plaats van specifieke projecten. Bij de inventarisatie is niet alleen naar interne auditmethoden gekeken, maar ook naar methoden, best practices, standaarden en frameworks die door publieke auditdiensten worden gebruikt in hun toezichtstaak. De Algemene Rekenkamer (AR) en de Auditdienst Rijk (ADR) hebben bijvoorbeeld een gespecialiseerde aanpak ontwikkeld voor de onderzoeken die ze uitvoeren. Deze aanpak is echter samengesteld op basis van marktconforme methoden, een expertconsultatie, en is speciaal ontwikkeld voor specifieke onderzoeken. De methoden van AR en ADR zijn niet opgenomen in de longlist.

Stap 5: Inventariseren van methoden, best practices, standaarden en frameworks op gebied van IT governance

Er is gezocht naar methoden, best practices, standaarden en frameworks die zich richten op IT-governance. Het begrip governance is breed interpreteerbaar. IT-governance is het besturen, beheersen, uitvoeren en verantwoording afleggen over en het toezicht op de informatievoorziening en het gebruik daarvan binnen een organisatie (Weill, 2004, p. 2; Bloem & Van Doorn, 2004, p. 10; BizzDesign, 2007). Governance kan niet los gezien worden van de verantwoordelijkheid voor verschillende taken van een organisatie, waaronder de zorg voor de medewerkers, de financiële verantwoording en (ook) de verantwoordelijkheid voor gegevens, informatie en IT. Zoals de Commissie Corporate Governance (Commissie Peters, 1997) het verwoord heeft: ‘Verantwoording afleggen over het gevoerde beleid en het toezicht is de kern van de hele discussie rondom corporate governance’. IT is een belangrijk deel van governance en wordt als IT-governance gepositioneerd als onderdeel van corporate governance. Daarnaast is in wetgeving steeds meer nadruk komen te liggen op governance op het vlak van de IT, en worden nationale rekenkamers ook ingezet op de controle daarvan. Een extra reden om dergelijke instrumenten aandacht te geven en op te nemen in de longlist.

Omdat governance en IT-governance onlosmakelijk met elkaar verweven zijn, zijn voorbeelden van instrumenten van beide aandachtsgebieden opgenomen.

Stap 6: Inventariseren van methoden, best practices, standaarden en frameworks op gebied van informatiemanagement en IT-servicemanagement

Er is gekeken naar het vakgebied van informatiemanagement en van IT-servicemanagement. Veel van de methoden, best practices, standaarden en frameworks in dit onderzoek kunnen in verband worden gebracht met deze vakgebieden en zijn in de longlist opgenomen.

Informatiemanagement is een vakgebied waar onder meer de Universiteit van Amsterdam binnen het PrimaVera-programma onderzoek naar doet. Informatiemanagement is een discipline ‘that deals with the management of information as a business resource, given the ubiquitous nature of information and communication technology (I/C T), with the business I/C T relationship’ (Maes, 1999). Binnen dit programma heeft men een generiek model gemaakt, het negenvlaksmodel voor informatie- management, gebaseerd op het model voor strategic alignment van Henderson en Venkatraman. Henderson en Venkatraman (1993) definiëren vier gebieden van aandacht: business strategy, IT strategy, business (infra)structure en IT (infra) structure. Binnen ieder van die domeinen zijn aspecten als scope, competenties, vaardigheden, governance, infrastructuur en proces beschreven. Henderson en Venkatraman onderbouwen met hun model de stelling dat IT-investeringen waarde genereren voor de bedrijfsprocessen. Sleutelbegrip in hun model is daarvoor de governance van IT. Het Amsterdamse negenvlaksmodel (AIM-model) is een richtinggevend model en richt zich op het positioneren van informatiemanagement binnen de organisatie. Er zijn verschillende invullingen daarvan, en het model helpt de rol van informatiemanagers en de CIO binnen een organisatie te verhelderen (Bon, 2006; Maes, 2008).

IT-servicemanagement is het managen van IT-services. Een IT-service is in dit geval een set van faciliteiten, bestaande uit IT- en niet-IT-onderdelen, die door de IT-organisatie worden ondersteund en worden aangeboden aan de business op basis van haar behoefte, en die door die business ook wordt gezien als één coherent geheel.

Informatiemanagement en IT-servicemanagement maken gebruik van kennis en van methoden, best practices, standaarden en frameworks die richting geven bij het inrichten van de processen en de organisatie en die tevens gebruikt worden voor het doen van analyses. Deze zijn dus in de longlist opgenomen.

Stap 7: Inventariseren van methoden, best practices, standaarden en frameworks van marktpartijen

In deze stap is naar marktpartijen gekeken die onderzoek doen bij verschillende profit- en non-profit-organisaties in Nederland. Met marktpartijen bedoelen we partijen die geen onderdeel uitmaken van de overheid en die ook geen kennisinstellingen zijn, zoals een universiteit. Deze deels internationaal opererende organisaties baseren hun aanpak op een set methoden, best practices, standaarden en frameworks die door eigen kennis en kunde is opgebouwd. Ook deze zijn geïnventariseerd en opgenomen in de longlist.

Stap 8: Cross reference van diverse methoden, best practices, standaarden en frameworks uit het IT-domein

Vanuit de literatuur over IT en management, is een bestaande longlist samen te stellen van veel voorkomende methoden, best practices, standaarden en frameworks op diverse aandachtsgebieden. Deze lijst bestaat uit 106 namen van methoden, best practices, standaarden en frameworks, en wordt bijgehouden door Van Haren Publishing (VHP). We hebben de lijst van 3 december 2011 gebruikt als basisdocument. Er is een extra controle uitgevoerd door na te gaan of de methoden, best practices, standaarden en frameworks uit de voorgaande stappen op de lijst van VHP voorkomen en door te kijken of we wellicht nog items ‘vergeten’ zijn. Daar zijn echter geen aanvullingen uit voortgekomen.

Stap 9: Toepassen uitsluitende criteria

Als laatste stap hebben we een vijftal criteria toegepast op de longlist:

1. De methode, best practice, standaard of het framework die of dat gebruikt wordt voor evalueren moet publiekelijk beschikbaar zijn. Enkele methoden, best practices, standaarden en frameworks, zoals de ‘Gateway-aanpak’ van het Rijk – overgekomen uit Groot Brittannië en in Nederland verder vervolmaakt voor toepassing op de Nederlandse situatie – staat er dan ook niet op. Deze kennis is exclusief voor de Nederlandse overheid beschikbaar, maar niet daarbuiten.
2. Het gebruiksrecht van een methode, best practice, standaard en framework ligt niet bij één marktpartij. Met andere woorden, indien één marktpartij het monopolie heeft over het gebruik en de doorontwikkeling, staat de methode, best practice, standaard of het framework niet in de shortlist. Voorbeelden zijn frameworks van accountancybureaus voor het doen van IT-audits, of van softwareleveranciers die ze inzetten bij het leveren van zowel de implementatie van hun IT-services als de bijbehorende adviesdiensten daarbij.
3. Het criterium dat de methode, best practice, standaard of het framework ook aantoonbaar in gebruik moet zijn bij een of meerdere organisaties. Vanuit de theorie ontwikkelde inzichten en methoden, best practices, standaarden en frameworks die niet gebruikt worden in de praktijk van een of meerdere organisaties, zijn niet opgenomen in de shortlist.
4. Het criterium dat de methode, best practice, standaard of het framework meer is dan een door de onderzoeker toe te passen uitvoeringstechniek, zoals een vragen- lijst of een Om een voorbeeld te noemen: in het vooraf (ex ante) en achteraf (ex post) evalueren van beleid, kan gebruik worden gemaakt van een multicriteria-analyse. Daarmee kunnen alternatieven tegen elkaar afgewogen worden en met niet-financiële criteria worden vergeleken (ministerie van Financiën, 1992). Een bekend voorbeeld daarvan is het Analytical Hierarchy Process (AHP) (Saaty, 2008). Dergelijke evaluatiemethoden worden in dit onderzoek als technieken gezien bij het uitvoeren van evaluaties aan de hand van de geïnventariseerde methoden, best practices, standaarden en frameworks, en worden derhalve niet nader uitgewerkt.
5. Het criterium dat de methode, best practice, standaard of het framework toepasbaar moet zijn op de gehele voortbrengingsketen, ook wel IV-voortbrengingsproces of ontwerp- en ontwikkelproces Met andere woorden: de methode, best practice, standaard of het framework moet toegesneden zijn op het doen van uitspraken op een project in zijn geheel, inclusief de diverse doorlopen fasen van een project.

Dit vijfde criterium heeft geleid tot het uitsluiten van de volgende instrumenten, methoden, best practices, standaarden en frameworks:

1. Binnen het domein van IT-servicemanagement is door de Carnegie Mellon University, samen met een consortium van bedrijven, in 2001 de eerste versie van eSCM-SP De huidige eigenaar is ITSqc. eSCM-SP is het eSourcing Capability Model voor serviceproviders. Het betreft hier een model dat is gebaseerd op best practices waarmee leveranciers van IT-services hun services kunnen verbeteren en waarmee de kosten en risico’s verminderd kunnen worden. Het model richt zich niet op projecten met een IT-component en de evaluatie daarvan. Daarnaast zijn er slechts een beperkt aantal gecertificeerde organisaties, hetgeen de toepassing van dit model ook beperkt.
2. Information Services Procurement Library (ISPL) is ontwikkeld in 1998-1999 als een onderdeel van het SPRITE-S2-programma van de Europese Commissie. ITSMF Nederland beheert de ISPL is een systematische benadering om te tenderen bij het aanbieden van IT-projecten en -services De kern van ISPL is het verbeteren van de relatie tussen de klant en de leverancier in zowel de publieke als de private sector (Bon, 2006). Daarmee is deze benadering toepasbaar op een beperkt deel van het voortbrengingsproces en valt het buiten de afbakening.
3. In projecten kan tijdens het project en aan het einde van het project (voor eindproducten) ook aan outsourcing en contractmanagement worden gedaan. Ook hier geldt dat dit deelaspecten zijn van de projectuitvoering. Om die reden nemen we de Outsourcing Professional Body of Knowledge (OPBOK) en het Contracting Capability Maturity Model van de International Association for Contract and Commercial Management (IACCM) niet op in de shortlist.
4. Binnen projecten wordt onder meer aan risicomanagement gedaan. Hiervoor zijn diverse methoden en instrumenten Zo kent AXELOS het framework Management of Risk (M_o_R) oorspronkelijk uit 2002, en in de huidige versie uit 2010 (AXELOS, 2010). Het Amerikaanse IT Governance Institute (ITGI) heeft in 2009 het Risk IT Framework gepubliceerd dat aanvullend is op COBIT (ITGI, 2009a, b). Het Risk IT Framework is ontwikkeld op het niveau van de gehele organisatie. In beide frameworks wordt een handreiking gedaan om het proces van effectieve beheersing van risico’s te ondersteunen. Het managen van risico’s is een van de onderdelen binnen een projectmatige of een programma-aanpak. Frameworks in het kader van risicomanagement worden echter niet direct gebruikt voor de evaluatie van projecten met een IT-component, anders dan voor het identificeren van specifieke risico’s binnen een project of programma en het in kaart brengen van mogelijke maatregelen om die risico’s te verminderen.
5. Tevens zijn frameworks voor bedrijfs- en informatiearchitectuur uitgesloten in de inventarisatie van dit Voorbeelden zijn het architectuurframework TOGAF van The Open Group, de architectuuraanpak DYA (Dynamische Architectuur) van Sogeti, de architectuurtaal Archimate, het Integrated Architecture Framework (IAF) van Capgemini, het March framework  van  Nolan  en  Norton en het Information Systems Architecture framework van Zachman (1987). Deze frameworks ondersteunen professionals die zich richten op het beschrijven, inrichten of herinrichten van organisaties vanuit de bedrijfsprocessen en de informatiesystemen en -voorziening. Architectuurmodellen en de bijbehorende architectuurvolwassenheidsmodellen spelen steeds vaker een belangrijke rol in het veranderen van organisaties (GAO, 2003; Ross, et al., 2006; Obers & Achterberg, 2009). Ze vormen daarmee een onderdeel van de informatievoorzieningsketen waarbinnen de projecten zijn gepositioneerd. De beschrijving van methoden, best practices en frameworks die experts binnen een deel van de voortbrengingsketen gebruiken, valt buiten de afbakening van dit boek.
6. Om dezelfde reden zijn, tot slot, ook methoden, best practices en frameworks ten behoeve van het gestructureerde testen uitgesloten in de inventarisatie. De ontwikkeling van testinstrumenten kent een groei van het testen van software tot het geïntegreerd testen vanaf de ontwerpfase, de softwareontwikkeling en de infrastructurele voorzieningen, het zogenoemde gestructureerde testen volgens methoden als Test-M, het door het ministerie van Financiën ontwikkelde Testen volgens TMap en de opvolger daarvan TMap Next, momenteel in eigendom van Sogeti (Koomen et al., 2006; Driel, 2008). De verbeter- en volwassenheidmodellen als Test Process Improvement (TPI) en Test Maturity Model (TMM) (TMMi, 2009) worden uitgesloten van de inventarisatie. Testen is een belangrijk onderdeel van het voortbrengingsproces in de informatievoorzieningsketen en uit de resultaten ervan kunnen uitspraken worden gedaan over de kwaliteit van de opgeleverde (tussen)producten. De methoden, best practices en frameworks voor testen zijn daarmee niet bedoeld om een geheel project of programma te kunnen

3   Indeling voor de shortlist: People, Product, Process

Voor de rubricering van de shortlist is gekozen voor een indeling naar People, Product en Process (Cooper & Kleinschmidt, 1986). Deze indeling komt voort uit de disciplines van marketing en kwaliteitsmanagement en wordt toegepast bij zowel de ontwikkeling van nieuwe producten voor de markt als de ontwikkeling van software.

Alleen aantonen dat je op vragen van een checklist “ja” kunt aanvinken is een onvoldoende garantie voor een goed proces of project. (Uit: interview Pieter Frijns, Bureau Gateway)

3.1                People

Onderzoek van Cooper en Kleinschmidt (1986) geeft aan dat het domein ‘People’ belangrijk is bij het succesvol realiseren van een product. De succesfactor ‘mens’ is een veelomvattende factor. Cooper en Kleinschmidt (1986) geven aan dat het gaat om de wijze waarop mensen hun werk doen, liefst op een succesvolle en kwalitatief hoogwaardige manier. Voor kennisintensieve organisaties, kenmerkend voor organisaties waar projecten met een IT-component worden uitgevoerd, betekent dit dat er extra aandacht moet worden gegeven aan het onderwerp kennismanagement. Kennismanagement omvat het faciliteren van het delen van zowel impliciete als expliciete kennis (Weggeman, 2010).

Daarnaast gaat het bij People ook over vakmanschap en competenties, en de samenwerking van het individu met het team en het functioneren van mensen en teams  in organisaties. Concepten als leervermogen, de lerende organisatie en het aanpassingsvermogen en de veranderbereidheid van mensen en van groepen zijn belangrijk (Pedler et al., 1991). De organisatiecultuur in formele en informele zin speelt daar een grote rol bij. Zijn mensen betrokken, voelen ze vertrouwen vanuit het management en hebben ze voldoende informatie en bevoegdheden om hun werk te kunnen doen? Mensen gebruiken groepen om hun eigen doelen na te streven, maar ook om een gevoel van verbondenheid en veiligheid te krijgen (Denhardt, 1984). Dat gaat soms ook met veranderbereidheid gepaard, en met fundamentele keuzes die mensen en groepen van mensen maken. Dat zijn keuzes die lastig blijken te zijn, zeker als de verwachte effecten groot zijn in zowel positieve als negatieve zin (Quinn, 2008).

Over mensen en hun intrinsieke motivatie is veel materiaal voorhanden. Modellen uit de psychologie en instrumenten om die motivatie te meten en bespreekbaar te maken dringen steeds verder door in het instrumentarium voor management- en organisatiewetenschappen en daarmee in evaluatie-aanpakken. Door de internationale projectmanagementorganisaties PMI en IPMA zijn competentieframeworks voor projectmanagement ontwikkeld. Deze refereren bijvoorbeeld aan de voorkeurstijlen wat betreft het gedrag en de management- en leiderschapsstijl van projectmanagers. Het gedragsrepertoire van mensen kan inzichtelijker worden gemaakt met de Myers- Briggs Type Indicator (MBTI) en het Enneagram. Het MBTI maakt gebruik van een vragenlijst, met elkaar uitsluitende vragen, om te bepalen welk persoonlijkheidstype iemand heeft (Myers, 1995). Het Enneagram helpt middels een vragenlijst te bepalen welk gedragsstijl iemand bij voorkeur gebruikt, en geeft tevens een procesmatige aanpak waarmee iemand kan groeien en zijn of haar gedragsrepertoire kan uitbreiden door ook gebruik te kunnen gaan maken van andere persoonlijkheidstypes (Riso & Hudson, 1999; Daniels & Price, 2009; De Best, 2009).

Binnen People kan een onderverdeling worden gemaakt in methoden, best practices, standaarden en frameworks die op het individu zijn gericht en die zich meer richten op de dynamiek van teams of groepen.

3.2                Process

In het domein ‘Process’ gaat het om het proces van een project zelf, van de start-up tot en met de oplevering van de eindproducten en de projectproducten, waaronder de evaluaties en geleerde lessen. Dit domein kent een groot aantal invalshoeken. De kwaliteit van een proces kan onder meer gemeten worden aan de hand van het aantal fouten dat in het proces optreedt. Indien een proces verloopt zonder fouten in de eindproducten (zero defects, een term geïntroduceerd door Crosby), is het proces tot het uiterste geoptimaliseerd via procesverbeteringen. Vanuit kwaliteitsmanagement is het de uitdaging om kwaliteitseisen en procesverbeteringen zo vroeg mogelijk te identificeren, omdat dan ook de herstelkosten het laagst zijn (Wentink, 2007, p. 83). De Boehm-curve illustreert dit (figuur 8.1). Boehm deed onderzoek naar de kosten van softwareontwikkeling en toonde aan dat hoe later in het traject fouten worden ontdekt, hoe hoger de kosten zijn om die fout te herstellen (Boehm & Papaccio, 1988). Deze bevindingen worden vaak geëxtrapoleerd naar de projectuitvoering als geheel, waar dezelfde wetmatigheden gelden.

Ook nu spelen de competenties een belangrijke rol, met name op het ontwikkelen en toepassen van diverse hulpmiddelen voor het project. Bij ‘Process’ gaat het vervolgens om de verschillende activiteiten die worden uitgevoerd in een project, alsmede om de verschillende meetsystemen en de PDCA-cyclus (Plan-Do-Check-Act-cyclus) die ingericht moeten worden om te leren tijdens het proces. Het principe van de lerende organisatie speelt hierbij een rol, nu op het niveau van het project zelf. Een van de vragen is bijvoorbeeld of de leercirkel is ingericht met feedback-loops op ‘single’ en ‘double’ niveau (Argyris & Schön, 1974).

Bij de processen kennen we een indeling naar diverse soorten processen, waaronder de traditionele indeling in primaire processen, ondersteunende processen en besturende processen (Obers & Achterberg, 2012). Voor projecten horen daar processen bij als aandacht voor de project(be)sturing en voor ondersteunende processen zoals versie- en configuratiebeheer en Quality Assurance. Daarnaast zullen projectmanagers vanuit hun eigen projectproces ook de omgeving moeten managen via actief omgevings- en stakeholdersmanagement. De rapportages en de informatievoorziening vanuit het project en de mate waarmee de eindgebruikers participeren in het project en in staat zijn zich vervolgens voor te bereiden op de implementatie van het projectresultaat, zijn onderdelen van het proces van een project.

Bij het proces hoort de balans die de projectverantwoordelijken moeten bewaken in de duivelsdriehoek van tijd, geld en kwaliteit. Deze drie ‘punten’ van de driehoek zijn met elkaar verbonden. Bezuinigen op doorlooptijd kan vaak een negatief effect hebben op de kwaliteit van het eindproduct. Een mogelijk scenario is dan om meer geld vrij te maken, bijvoorbeeld door extra expertise in te schakelen, maar het is dan de vraag of dat de verstoorde balans weer verbetert. Van de duivelsdriehoek is ‘tijd’ het meest passend bij het proces van een project. Keuzes in de hoogte van de kwaliteit (en daarmee functionaliteit) van het eindproduct krijgen vooral aandacht bij het volgende onderdeel, ‘Product’.

Een onderdeel van Proces is tevens de aandacht voor het portfolio van projecten. De aandacht voor het eigen project hangt af van de andere projecten binnen de organisatie. Vaak zijn projecten ook onderling afhankelijk door deelresultaten, of door hun bijdrage aan belangrijke organisatiedoelen of organisatieprocessen.

3.3                Product

Bij het domein ‘Product’ kijken we vooral naar criteria ten aanzien van de producten die een project oplevert, ofwel de ‘deliverables’. De centrale vraag is of het project iets heeft opgeleverd waar de opdrachtgever en de eindgebruiker(s) tevreden over zijn. Dit past ook binnen de definitie van ‘fitness for use’. Fitness for use wordt bepaald door de productperformance, die klanten tevreden stelt (customer satisfaction), en door foutloze producten (freedom from product deficiencies). Deze termen zijn geïntroduceerd door Juran (Wentink, 2007). Bij de start van een project zijn de kwaliteitseisen gedefinieerd (SERC, 1992). Heldere kwaliteitseisen passen in de lijn van Crosby, die kwaliteit definieert als ‘conformance to requirements’ (Wentink, 2007). In het geval dat het gaat om eisen die indirect en onuitgesproken zijn, zou een projectmanager die expliciet moeten maken aan de start van het project. Daarmee kan aan het eind van een project namelijk worden getoetst of de eindproducten ook daadwerkelijk voldoen aan zowel de verwachtingen als de kwaliteitseisen.

De kwaliteitseisen omvatten vele aspecten, van beveiliging van het product in geval van IT, tot aan het gebruikersgemak en de ergonomische eisen waaraan het product moet voldoen. Ook de uiteindelijke kosten van het traject en de baten daarvan, vaak later te realiseren, zijn onderdeel van de afbakening van product. Als de implementatie van eindproducten in een organisatie of de adaptatie van consumentenproducten in de markt succesvol is, kan vervolgens ook gekeken worden naar het effect van die producten. De effecten zijn vaak pas meetbaar op de wat langere termijn. Sommige hype- en trendgevoelige producten hebben een onmiddellijk effect, denk bijvoorbeeld aan films en games. De marktintroductie is dan vooraf zorgvuldig gepland en wordt geregisseerd. Bij IT voor een overheidsorganisatie kan het effect, bijvoorbeeld aantoonbaar betere dienstverlening voor burgers, enige tijd later zichtbaar worden.

Voor Product kan een onderverdeling worden gemaakt in methoden, best practices, standaarden en frameworks die zich richten op de eisen die gesteld zijn aan het eind- product van een project en de zogenoemde requirements voor IT-services en applicaties, en methoden, best practices, standaarden en frameworks die zich meer richten op de kosten en baten.

4   Opstellen shortlist

De indeling van de shortlist is dus opgebouwd in drie domeinen: People, Process en Product. Om de shortlist samen te stellen vanuit de longlist, zijn de volgende twee stappen gevolgd:

Stap 1: Workshops met experts

Met een groep bestaande uit tien experts uit het vakgebied van de IT, consultancy en projectmanagement zijn workshops gehouden om de methoden, best practices, standaarden en frameworks in te delen in de drie genoemde domeinen. Daarvoor zijn in twee workshops eerst de criteria per categorie doorgesproken en geoperationaliseerd, waarna de methoden, best practices, standaarden en frameworks konden worden gerubriceerd.

Vervolgens is in twee iteraties in de vorm van workshops een shortlist samengesteld. Daarbij is nadrukkelijk gekeken naar de toepassing op basis van de volgende criteria:

1. Methoden, best practices, standaarden en frameworks gebruikt voor projectevaluaties. Instrumenten voor evaluaties die organisaties hanteren en frameworks met methoden voor evaluatoren vallen daarmee
2. Methoden, best practices, standaarden en frameworks die aantoonbaar in gebruik zijn bij één of meer

Stap 2: Toetsing shortlist

De shortlist is vervolgens ter review voorgelegd aan een bredere groep van tien andere experts, actief in het werkveld van profit- en non-profit. Deze review heeft geen nadere aanvullingen opgeleverd op het aantal methoden, best practices, standaar- den en frameworks. Wel heeft het geleid tot een vierde domein: die van de multi- criteriamethoden. In een aantal methoden, best practices, standaarden en frameworks komen namelijk zowel de elementen van People, Process en Product voor. Vijf methoden, best practices, standaarden en frameworks vallen onder dit vierde domein.

Deze twee stappen hebben geleid tot de volgende shortlist van 20 methoden, best practices, standaarden en frameworks, zie tabel 1.

5   Conclusie

Wat bijzonder is aan de methoden, best practices, standaarden en frameworks die in de shortlist zijn genoemd, is dat ze gebruikt kunnen worden voor evalueren, maar vaak niet voor evaluatiedoelen zijn opgesteld. Veel van de genoemde methoden, best practices, standaarden en frameworks voor evalueren zijn in de markt bekend als methoden, best practices, standaarden en frameworks voor het inrichten van een project of voor een deel van de organisatie en haar processen. De nadere bestudering van de longlist toonde echter aan dat deze methoden, best practices, standaarden en frameworks wel degelijk ook voor evaluaties heel waardevol zijn en gebruikt worden in audits en evaluaties. De indeling in People, Process, Product en Multicriteria helpt vervolgens om deze shortlist te rubriceren. De vraag waar we nog wel nadrukkelijk bij stil staan is, of er nu methoden, best practices, standaarden en frameworks gemist worden in de opsomming. Dat is lastig vast te stellen. Door vanuit meerdere bronnen te werken en de lijsten die gebruikt zijn goed te toetsen bij betrokkenen uit het vakgebied, hebben we in ieder geval de selectie zo goed mogelijk kunnen uitvoeren. De aanpak is uitgebreid beschreven om daarin transparant te zijn, en voor eventuele volgende uitgaven het proces ook herhaalbaar te laten zijn.

Tabel 1 Shortlist van 20 methoden, best practices, standaarden en frameworks

 

Shortlist
Hoofd- domein	Aspecten in hoofddomein	Subdomein	Methoden, best practices, standaarden en frameworks
People (4)	•    Vaardigheden •    Kennis •    Attitude •    Inzicht •    Kennis = i × EVA i = informatie, dus expliciete kennis EVA = Ervaring, Vaardigheden, Attitude, dus impliciete kennis •    Kennisprocessen •    Individu en team •    Competentiemanagement •    Opleiden en Education Permanente (EP) •    TRVB (Taken, Rollen, Verantwoordelijkheden, Bevoegdheden) •    Cultuur •    Overleggen en rapportage (-structuren) •    Relatie tussen IT en de gebruikers / de business •    Communicatie in / over het project •    Veranderbereidheid •    Gedrag (individu, groep/project, organisatie). Denk aan vormen van obstructie, macht en dergelijke	a. Individueel: Competence Frameworks	•   ICB/NCB (gericht op personen: project- en programmamanagers). Onderdeel hiervan is ook de onderbouwing door middel van de MBTI, het Enneagram en het gebruik van 360 graden feedback; gericht op feedback op persoonsniveau. •   e-CF (gericht op de persoon, nadruk op IT-competenties)
		b. Teamsamen- stelling en samenwerking	•   Belbin (gericht op verhoudingen tussen personen en teamrollen). Ook MBTI en Enneagram zijn in dit kader relevant. •  Projectmatig creëren. Vooral kijkend naar de evaluatietips, en de werkvormen waarin de mens centraal staat.
Process (van een project) (6)	•    Doel •    Vaardigheden / hulpmiddelen •    Activiteiten •    Meten •    Verifiëren (van het doel, de producten/ diensten en het resultaat) •    I-T-O en de single loop + double loop •    Voortbrengingsproces (van idee naar resultaat) •    Primaire, secundaire en tertiaire processen (van het project zèlf) •    Zie ook de driedeling van de primaire processen, met daarboven de laag van besturende processen (managementcyclus, BI-cyclus, rapportages en planningen), en daaronder de laag van de ondersteunende processen (configuratiemanagement, versiebeheer et cetera) •    (Aandacht voor) portfolio van projecten •    Stakeholders en omgeving •    Strategische, tactische en operationele focus •    Proceskwaliteit (P-D-C-A) •    Duivelsvierhoek, het aspect ‘tijd’ (van de serie tijd-geld-kwaliteit-functionaliteit)	Project- management	•   PRINCE 2 •   PMBOK Guide •  ISO21500 •   Agile-methoden (DSDM Atern, Scrum)
		Kwaliteits- management/ operational excellence	•  ISO9000
		Project- organisatie en volwassenheid	•   OPM3

 

Shortlist
Hoofd- domein	Aspecten in hoofddomein	Subdomein	Methoden, best practices, standaarden en frameworks
Product (5)	•    Vierkant van tijd, geld, kwaliteit en functionaliteit. Tijd is een ‘proces’- aspect, de andere horen bij Product. •    Functionaliteit •    Productkwaliteit •    Acceptatiecriteria, zie het KEM-model (KwaliteitsEisenModel) •    Toegankelijkheid •    Ergonomie •    Gebruiksvriendelijkheid •    Doel/resultaat •    Kosten/baten •    Effecten, zoals milieu (Green IT), mens, organisatie en maatschappij •    Opgeleide medewerkers •    Baseline / documentbeheer en configuratiemanagement	Requirements, IT-services en applicaties	•   BiSL •  ITIL •   ASL   Aan de hand van deze frameworks kan gecontroleerd worden of een project de juiste producten en diensten implementatierijp oplevert. Daarom zijn deze frameworks opgenomen als mogelijk referentiemodel voor evaluaties.
		Kosten/baten	•   Business case-aanpak, met daarin aandacht voor kostenmethoden (ABC, TCO et cetera.) en benefitmanagement. •   BCG-matrix, aangevuld met toepassingen waarin de matrix wordt gebruikt voor het analyseren van activiteiten, deelprojecten, de waarde van projecten voor de organisatie en de relatie tussen project, portfolio en architectuur.
Multi- criteria (5)	•    Zowel Product-, Process als People- aspecten		•   7 S’en model •   Quinn-model •   INK (multicriteria, maar tevens met een duidelijke link naar TQM- achtergrond) •  Appreciative Inquiry (AI) •   Balanced Score Card (BSC)

 

In de volgende hoofdstukken zullen we de methoden, best practices, standaarden en frameworks uit de shortlist met elkaar vergelijken en een nadere handreiking bieden wanneer welke bruikbaar is als achterliggend referentiemodel voor een evaluatie.

Wouter Bronsgeest

 

The post Naar een shortlist appeared first on EN | Van Haren Publishing.