Xenon : la résurrection
Bienvenue au club des inutilisateurs
Méthodologie et critères de choix
9 octobre 2000 à 00:00
Méthodologie des tests L’évaluation des logiciels de test de sites Internet s’est effectuée au cours de cinq épreuves, mêlant à la fois un test réel et…
Méthodologie des tests L’évaluation des logiciels de test de sites Internet s’est effectuée au cours de cinq épreuves, mêlant à la fois un test réel et une étude fonctionnelle. Le critère relatif aux scripts simples a permis d’apprécier la facilité d’utilisation des logiciels. Notre laboratoire a généré un script de test sans avoir recours à la programmation. La détection automatique des éléments variables, la génération automatique du script, ou encore la configuration de la montée en charge ont servi de base pour ce critère. Les scripts évolués ont nécessité la mise en place d’un scénario spécifique pour le mode debug ou la procédure à suivre pour positionner des points de contrôle au sein du script de test. La synchronisation de scripts pour réaliser des transactions concurrentes simultanées, et la possibilité d’exécuter simultanément, dans une même campagne de tests, différents types de scripts ont aussi été prises en compte pour ce critère. La surveillance, le suivi et la génération de rapports ont permis de connaître la nature et la précision des mesures de performance. La puissance des outils d’analyse ainsi que les fonctions destinées à générer des rapports ont été passées au crible. Le test de montée en charge s’est effectué à l’aide d’un scénario précis qui mettait en jeu 25, 50 puis 100 utilisateurs virtuels. Enfin, les différents protocoles acceptés par les logiciels ont compté pour le critère adaptation et environnement.
Les critères de choix Adaptation, environnement Les sites Internet mettent à contribution les applications du système d’information, comme les bases de données, les progiciels intégrés, etc. Les outils de test doivent prendre en compte le plus grand nombre de protocoles applicatifs possible. Des cinq logiciels testés, LoadRunner de Mercury Interactive se distingue : il est celui qui propose la palette de protocoles la plus étendue. Celle de SilkPerformer, de Segue, est aussi très vaste. Toutefois, ce logiciel est pénalisé par son appartenance au monde Windows. Sa souplesse d’utilisation ne compense pas complètement son incompatibilité avec les environnements Unix et Linux. WebTester de Cyrano, pour sa part, est le moins bien loti. Il est destiné avant tout aux tests purement Internet (HTTP et HTTPS).
LoadRunner 6. 5 de Mercury Interactive
SilkPerformer 3. 5 de Segue
Élaboration de scripts simples La génération des scripts met en ?”uvre un mécanisme très simple d’enregistrement de séquences de navigation à rejouer : toutes les actions menées par le visiteur d’un site sont enregistrées en mode HTTP et HTML, puis converties sous forme de scripts, pour être ensuite analysées. Pour ce critère WebTester de Cyrano et LoadRunner de Mercury Interactive se détachent assez nettement. L’avantage du logiciel de Cyrano est qu’il propose une série de tests, ce qui évite à l’utilisateur d’élaborer des scripts lui-même, et donc de recourir à la programmation pour générer le code de ces tests fonctionnels. Toutefois, ce code est personnalisable au travers d’une boîte de dialogue pour, par exemple, insérer des composants ActiveX ou des points de contrôle. De son côté, Mercury Interactive se différencie en proposant, avec le module VuGen, un double mode d’exploitation : programmation ou graphique. Ainsi, un utilisateur au fait des techniques de programmation et d’Internet choisira le premier pour élaborer des scripts spécifiques, alors qu’un néophyte préférera le mode graphique, avec lequel il pourra, de manière intuitive, modifier les paramètres enregistrés lors des captures.
WebTester Enterprise Edition 4. 1. 1 de Cyrano.
LoadRunner 6. 5 de Mercury
Élaboration de scripts évolués La mutation des sites Internet en véritables centres de profit rend les architectures de plus en plus complexes et les scripts de test doivent inévitablement s’adapter. À cette fin, les cinq logiciels testés proposent un client destiné à analyser les pages et à gérer les cookies. Les simulateurs de Mercury Interactive et de Rational se retrouvent en tête pour ce critère. Ils peuvent s’apparenter à de véritables plates-formes de développement. Ces deux logiciels mettent en ?”uvre des mécanismes poussés de remplacement d’une constante par une variable ou encore d’identification de session. Le mode debug du logiciel de Mercury, utilisé pour rechercher et éliminer les erreurs qui se sont glissées dans le code, est complet. Outre le positionnement de points d’arrêt ou le défilement pas à pas, il assure la visualisation des pages HTML par l’entremise d’un runtime. Le mode debug du simulateur de Rational n’est pas aussi performant. Il n’est actif que pour les tests fonctionnels des pages HTML et non dans le cadre des évaluations de montée en charge (impossible de positionner des points d’arrêt, d’assurer le défilement du script pas à pas, etc. ). Enfin, ce logiciel autorise des captures multiprotocoles mais peut aussi les rejouer avec son module LoadTest.
LoadRunner 6. 5 de Mercury Interactive
Suite PerformanceStudio 2000 de Rational
Surveillance, analyse et rapports Un site Internet évolue. Sa surveillance doit donc être permanente et les résultats exploitables sous forme de rapports. QALoad de Compuware se montre à son avantage dans cet exercice. L’éditeur a enrichi son logiciel avec EcoTOOLS et EcoSCOPE, deux modules dédiés à la surveillance applicative et système. Ainsi armée, l’offre de Compuware propose la remontée d’informations la plus riche des logiciels testés. EcoTOOLS et EcoSCOPE sont vraiment recommandés pour assurer la surveillance complète d’un site. LoadRunner de Mercury Interactive dispose, pour sa part, d’une palette importante de sondes (SNMP, middleware, serveur web). Le contrôle des indicateurs de performance, de montée en charge ou encore des statuts du serveur s’effectue sous forme graphique. Ce suivi n’est pas une opération figée. L’administrateur a la possibilité d’apporter des modifications pendant le déroulement de la session de tests. De son côté, WebTester de Cyrano se distingue par ses graphiques de surveillance, très pratiques, et qui sont obtenus en temps réel.
QALoad 4. 6. 1 de Compuware
WebTester Enterprise Edition 4. 1. 1 de Cyrano
Montée en charge La hantise de tous les administrateurs de sites web est de ne pouvoir absorber des pics de trafic. Les cinq logiciels proposent des fonctions permettant de simuler des montées en charge, qui peuvent soit être progressives, soit très brusques. Les éditeurs ont adopté deux méthodes. La première, retenue par Rational et Segue, consiste à activer autant d’instances qu’il y a d’utilisateurs virtuels. La seconde, adoptée par Compuware, Mercury et Cyrano (qui utilisent aussi la première méthode), met en ?”uvre la technique de multithreading pour exécuter les scripts. Chaque instance de test simule plusieurs utilisateurs virtuels. Les logiciels de Compuware et de Mercury se sont distingués sur ce critère, avec un léger avantage pour QALoad. Ce dernier est, en effet, arrivé en tête des trois tests de performance réalisés avec 25, 50 et 100 utilisateurs virtuels. Pourtant, pour chacun des tests, la transmission des requêtes a été interrompue à quatre reprises (durant quatre à cinq secondes).
QALoad 4. 6. 1 de Compuware
LoadRunner 6. 5 de Mercury Interactive
🔴 Pour ne manquer aucune actualité de 01net, suivez-nous sur Google Actualités et WhatsApp .