Hoe wij uw websites testen

Geschreven door: Chris Ramakers

Mensen maken fouten, op zich is dat niet zo erg, zo lang ze maar gevonden en opgelost worden. We moeten uiteindelijk een eindproduct van hoogstaande kwaliteit af kunnen leveren, daar zijn we immers voor gekend. Eén van de manieren om deze fouten te vinden is door veelvuldig en grondig te testen.

Inventis Testcenter

Jammer genoeg is het testen van websites niet eenvoudig. De boosdoener daarbij is de grote keuze aan browsers die bezoekers kunnen gebruiken. Internet Explorer, Google Chrome, Firefox, Safari, Opera, en nog een hele reeks aan minder bekende browsers. Alsof het nog niet erg genoeg is heeft elke browser ook verschillende versies en brengen ze regelmatig updates uit die nieuwe mogelijkheden introduceren. Helaas zijn niet alle bezoekers van je website even snel met updaten van hun browser naar de meest recente versie. Dat maakt dat we verplicht zijn om de websites die wij maken te testen in een hele reeks verschillende browsers.

Natuurlijk mogen we ook de opkomst van smartphones en tablets niet vergeten, wat maakt dat er nog een grotere keuze is aan browsers die je bezoeker kan gebruiken. Safari op iOS, Webkit browsers op Android toestellen, Blackberry, etc …

Dat maakt dat we een vrij lange lijst hebben van browsers die we moeten testen:

  • Internet Explorer 6 (nota), 7, 8 en 9 op Windows
  • Firefox 3 en hoger op Windows en Mac
  • Google Chrome op Windows en Mac
  • Opera op Windows en Mac
  • Safari op Windows, Mac en iOS
  • Webkit op Android 2.x

Testcenter

Al deze bevindingen maken dat we naar een robuuste, snelle en stabiele manier van testen op zoek gingen en na een aantal probeersels zijn we uiteindelijk terecht gekomen bij wat wij “het testcenter” noemen.

Vroeger maakten we gebruik van een reeks virtuele machines die bij elke ontwikkelaar lokaal op zijn workstation draaiden. Zo hadden we in totaal een 5-tal VM’s met verschillende browsers. Daarnaast hadden we centraal 1 computer staan waarop deze VM’s ook waren geïnstalleerd. Helaas merkten we al snel dat de snelheid van onze Macbooks en iMac’s begonnen te lijden onder de extra load die veroorzaakt werd door de VM’s samen met onze development tools. We moesten dus op zoek naar een andere oplossing. Die oplossing vonden we in de vorm van 2 laptops, speciaal geconfigureerd als test-center.

Concreet hebben we elke laptop opgedeeld in een aantal partities en op elke partitie kan een besturingssysteem geplaatst worden met één bepaalde configuratie. Zo kunnen we op elke laptop meerdere, van elkaar verschillende configuraties testen. Momenteel zijn volgende besturingssystemen en browsers geïnstalleerd op onze testcenter laptops:

  • Microsoft Windows XP met Internet Explorer 6
  • Microsoft Windows XP met Internet Explorer 7
  • Microsoft Windows 7 met Internet Explorer 8
  • Microsoft Windows 7 met Internet Explorer 9

Daarnaast is op deze laatste ook nog de meest recente versie van Firefox, Chrome en Opera geïnstalleerd.

Op deze manier hebben één toestel waarop alle browsers beschikbaar zijn die we actief ondersteunen.

Deep Freeze 2

Uit ervaring weten we echter dat een laptop die door een team van 19 collega’s gebruikt wordt vaak lijdt onder het gebruik. Er wordt software geïnstalleerd, er blijven downloads en cookies achter, enz … Om dat te vermijden hebben we besloten om Deep Freeze 2 te installeren als laag bovenop alle besturingssystemen. Deep Freeze is een product van Faronics dat bij elke reboot van je computer het besturingssysteem herstelt naar een op voorhand bepaald snapshot. Je start als het ware elke keer met een vers geïnstalleerd en geconfigureerd besturingssysteem, ook al heeft de gebruiker de hele configuratie om zeep geholpen.

Dit biedt ons de mogelijkheid om het onderhoud van de testcenter laptops een stuk minder complex te maken, zonder veel tijd en energie te steken in het regelmatig opruimen of repareren van het besturingsysteem.

Mobiele browsers

Mobiele websites stellen speciale eisen. Tegenwoordig is het echter wel zo dat smartphones en tablets een gewone website ook perfect kunnen tonen. Daarom dat we ook alle websites die we maken testen op verschillende mobiele toestellen. Dat wil niet zeggen dat alle websites die we maken volledig compatibel zijn met alle mobiele toestellen, in dat geval kiezen we voor een aparte website, speciaal geoptimaliseerd voor mobiele toestellen. Wel zorgen we er voor dat alle websites die we maken er goed uitzien op de iPhone, iPad of Android tablets. De browsers die op deze besturingssystemen werken moeten niet onderdoen voor browsers die terug te vinden zijn op je Macbook of PC. We bekijken onze websites zelfs op een Blackberry hoewel dat dit toestel vaak nogal wat problemen ondervindt bij het weergeven van websites die niet specifiek geoptimaliseerd zijn voor mobiel gebruik, daarom dat we ook niet actief testen op een blackberry voor gewone websites. Maken we een speciaal geoptimaliseerde mobiele website, dan testen we natuurlijk wel uitvoerig op Blackberry zodat uw mobiele website ook op dit toestel correct werkt.

Mailings

Naast websites is e-mail marketing ook één van onze dagdagelijkse bezigheden. We versturen dagelijks e-mail campagnes voor verschillende van onze klanten alsook voor onze eigen projecten. Bij e-mail marketing is het goed overkomen van de boodschap zowaar nog belangrijker omdat gebruikers geneigd zijn mails snel te classificeren als spam bij de minste argwaan. Het is dus van het grootste belang dat je mails er goed uitzien in alle e-mail clients zoals Outlook, Apple Mail en Thunderbird als in alle web gebaseerde e-mailclients zoals Gmail, Hotmail, etc …

Na het samenstellen van een lijst met e-mail clients moesten we echter vaststellen dat deze lijst zowaar nog langer was dan de lijst met browsers voor het testen van websites. Het was dus niet haalbaar om voor elke e-mail client een apart besturingssysteem op te zetten enkel en alleen om de mail layout te kunnen testen.

Gelukkig bestaan er daarvoor diensten zoals Litmus die je met een makkelijk te gebruiken interface de layout van je e-mails laat testen in meer dan 26 ondersteunde e-mailclients. Je dient gewoon een mailtje te sturen naar een op voorhand vastgelegd e-mailadres en binnen enkele minuten krijg je een screenshot van de mail in elke mailclient die je wil testen. Litmus werkt vlot, makkelijk en goed. Aangezien mails veel minder interactief zijn dan websites (geen animaties, dropdown menu’s, etc …) is het testen ook veel simpeler, dat maakt dat wij daarom gekozen hebben voor Litmus.

Final words

Testen is altijd een moeilijk en vervelend gebeuren maar het maakt dat je een eindproduct hebt dat goed werkt en zeker aan de verwachtingen van de klant voldoet. Door het opzetten van een robuust testcenter en gebruik van diensten zoals Litmus is het voor ons echter een stuk makkelijker geworden om de websites van onze klanten in alle, vaak voorkomende, configuraties te testen. Maak je zelf gebruik van een vergelijkbaar systeem of pak je het volledig anders aan? We vernemen graag hoe jullie testcenter er uit ziet of jullie websites testen. Laat gerust je mening achter in de reacties.

(nota) We ondersteunen Internet Explorer 6 nog altijd en zorgen dat alle websites die we maken functioneren in deze browser. Het is echter niet haalbaar om al onze websites ook visueel volledig compatibel te maken met deze ondertussen meer dan 10 jaar oude browser. Daarom dat we onze websites altijd functioneel testen in Internet Explorer 6 en zeker zijn dat ze er aanvaardbaar uit zien, hetzij een tikkeltje anders dan in de modernste browsers. Het belangrijkste hierbij is: de website moet werken in Internet Explorer 6, ook al ziet ze er iets ander uit.

6 Reacties op deze blogpost:

Marijn Willems
Door Marijn Willems op 04 oktober 2011

Nice read en redelijk actueel nu bij ons ;-)

Thanks!

Jelle Claes
MoSandro
Door MoSandro op 04 oktober 2011

Je zou ook "portableapps" kunnen gebruiken (niet centraal beheerd) // of vmware thinapp // of microsoft APP-V (centraal beheerd).
Deze laten toe verschillende browsers/versie/applicaties gelijktijdig te draaien zonder uw machine te "vervuilen"

Kevin Vanhove
Door Kevin Vanhove op 04 oktober 2011

Testen gebeurd hier ongeveer op dezelfde manier maar dan niet met laptops. Ik heb een Mac Pro met 2 SSD schijven waarvan 1 een windows 7 installatie is met IE7/8. Zoals ik ook in een blog item beschrijf (http://www.basing.nl/blog/?p=136) wordt het marktaandeel van een browser steeds minder belangrijk omdat de ondersteuning van features steeds sneller gelijk loopt. Zo hoef je bijna niet meer te controleren in safari, IE9 als het ook op FF werkt.

Even verder vooruit kijken: Als ons besturingssysteem straks ook in de cloud zit, zoals onlive voor games, wordt het testen nog makkelijker en spreken we wellicht niet meer over een 'browser'.

Anthony
Door Anthony op 04 oktober 2011

Hier gebruiken we browserstack.com, is eigenlijk hetzelfde als jullie hebben maar dan via "VNC". Minieme kost gaat volgens mij wel op tegen het onderhoud/updates dat jullie moeten doen.

Anny
Door Anny op 10 oktober 2011

Deden ze overal maar deze tests! IE7 is misschien wel oud maar wordt bij grote bedrijven toch nog vaak gebruikt.

Maar ik merk ook dat IE9 zorgt voor veel problemen.

{* Remarketing tag *}