2.10.Allsafe heeft in de procedure een rapport overgelegd van SQMI, Software Quality Measurement & Improvement B.V. (hierna: het rapport van SQMI). In dat rapport zijn de bevindingen neergelegd van onderzoekers naar de kwaliteit van het door Smart Connections voor Allsafe gebouwde CRM-systeem. In het rapport is het systeem getest aan de hand van de (volgens het rapport) internationale standaard
ISO/IEC 25010:2011 “Systems and software engineering – Systems and software Quality Requirements and Evaluation (SQuaRE) – System and software quality models”(hierna: de ISO-norm). Het rapport geeft een verantwoording van de methode van onderzoek en de bevindingen van bepaalde onderdelen. Geconcludeerd wordt onder meer:
“[De ISO-norm] definieert hoe de kwaliteit van software systemen en producten benaderd dient te worden. Met deze internationale norm in de hand zijn de kwaliteitsproblemen in het voorhanden systeem in drie groepen onder te verdelen:
1. Performance, compatibiliteit en betrouwbaarheid schieten voorts op sommige vlakken ernstig tekort, en deze
goed gedocumenteerde aanhoudende problemenzijn voorts niet opgelost;
2. Door tekortkomingen, fouten en storingen zijn voorts bepaalde noodzakelijke handelingen onmogelijk, hetgeen mogelijk te maken heeft met de mate van onderhoudbaarheid van de software – ook deze
goed gedocumenteerde aanhoudende problemenzijn voorts niet opgelost;
3. Verder onderzoek heeft aangetoond dat 41% van de schermen
zeer slecht bruikbaarzijn. Vooral op het gebied van ‘herkenbaarheid van ‘geschiktheid’ en ‘bescherming tegen gebruikersfouten’ schieten veel onderdelen van het voorhanden systeem
ernstig tekort.
De markt voor CRM systemen is vrij volwassen en dat laat zich onder meer zien in het hoge niveau van bruikbaarheid van de aangeboden systemen. Vanwege concurrentie worden kwaliteitsproblemen in de markt doorgaans snel verholpen.”
Als bijlage A bij het rapport zijn de resultaten van een onderzoek naar de bruikbaarheid van het systeem bijgevoegd. Hieraan wordt het volgende citaat ontleend:
“De onderzoeksopdracht was om de kwaliteit van het door SmartConnections aan ALLSAFE aangeboden CRM systeem te onderzoeken ".
Schouw
Op basis van bovenstaande vraagstelling is er eerst een schouw uitgevoerd op het systeem. Tijdens het onderzoek is gebleken dat slechts 4 van de 133 schermen als goed afgewerkt ervaren werden (de "Telesales schermen") en dat er in die schermen rekening gehouden is met ALLSAFE jargon en processen, hetgeen als kritische succesfactor tussen opdrachtgever en opdrachtnemer overeengekomen is.
Tevens is gebleken dat 129 van de 133 schermen slecht afgewerkt zijn vanwege onder meer:
• Het gebruik van Engels en Nederlands door elkaar
• Jargon die noch ALLSAFE jargon noch vakjargon is
• Geen enkele aansluiting met ALLSAFE processen
• Het aantal eigenschappen (bijv. kolommen en velden) zo groot is dat de gebruiker geen overzicht kan krijgen
• ALLSAFE 'look and feel' is niet toegepast
74 van deze slecht afgewerkte schermen bleken relatief
eenvoudigte zijn, maar 55 bleken
niet eenvoudigte zijn door onder meer:
tientallen slecht van elkaar te onderscheiden kolommen en velden (veldnamen die bijna identiek zijn en waarbij er geen enkel uitleg op het scherm getoond wordt)
volstrekt onoverzichtelijke presentatie (gegevens passen noch in de hoogte, noch in de breedte van een beeldscherm waardoor er in twee richtingen gescrold moet worden)
onduidelijke scherm verloop (geen indicatie van hoe schermen samen gebruikt moeten worden om een ALLSAFE proces uit te voeren)
Bovenstaande heeft ertoe geleid dat de schermen in drie klassen onderverdeeld kunnen worden, namelijk:
• klasse 1: goed afgewerkte schermen
• klasse 2: eenvoudige, slecht afgewerkte schermen
• klasse 3: niet eenvoudige, slecht afgewerkte schermen
Vervolgens is er een uitgebreide analyse uitgevoerd van schermen uit elke klasse, gebruikmakend van het product kwaliteitsmodel die in internationale norm
ISO/IEC 25010:2011uiteen gezet is.
De bruikbaarheid van de verschillende klassen zijn gekwantificeerd door de toepassing van een wegingsfactor, en het geven van een "rapportcijfer· per ISO/IE( sub-karakteristiek (zie Bijlage F).
Hierdoor werd duidelijk dat vooral de zeer slechte bruikbaarheid van 41% van de schermen, het door SmartConnections aangeboden CRM systeem onacceptabel maakt.”