Seit einigen Jahren tragen Innovationen im Bereich des maschinellen Lernens und der künstlichen Intelligenz dazu bei, dass sich viele Branchen weiterentwickeln. Dazu gehört auch die Welt des Testens. Aber wie kann KI in die Testautomatisierung einfließen? Wie kann sie Geschäftsteams helfen, diesen Bereich besser zu verstehen? Was sind ihre Gewinne, Risiken und Grenzen? Lesen Sie die Antworten auf diese Fragen in unserem Interview mit Xavier Blanc.
Xavier Blanc ist ein Spezialist für Softwarequalität. Er ist Direktor des Laboratoire Bordelais de Recherche en Informatique (LaBRI) und Mitbegründer von ProMyze, einem Start-up-Unternehmen, das es ermöglicht, bewährte Verfahren der Softwareentwicklung zu definieren und auszutauschen und so die Qualität von Teams zu verbessern. Außerdem ist er Professor an der Universität Bordeaux mit dem Schwerpunkt Softwaretechnik.
Künstliche Intelligenz (KI) ist ein wichtiges Thema in den aktuellen Trends und hält auch Einzug in die Welt des Testens. Wie sehen Sie persönlich den Einzug von KI in die Testautomatisierung?
KI kann insbesondere bei der Automatisierung helfen, indem sie den Automatisierer nicht allein lässt: Wie kann man den Automatisierer bei seiner Arbeit unterstützen, damit er bessere Tests liefern kann? Denn schließlich wiederholt man beim Schreiben eines automatisierten Tests Abläufe, und das ist der Punkt, an dem sich die KI als sehr stark erwiesen hat. Wenn man anfängt zu wiederholen, wenn es Daten gibt und man Dinge tut, die man schon gemacht hat oder von anderen Leuten gemacht wurden, dann ist das der Punkt, an dem KI uns helfen kann, Qualität hinzuzufügen. Wir nehmen eine Anwendung und bitten die KI, sie zu analysieren und uns dabei zu helfen, die relevantesten Tests zu finden.
Es gibt einen zweiten Punkt zur Diagnose. Wir haben unsere Testdatenbank, wir können sie automatisieren, sie läuft sehr gut, und dann gibt es manchmal noch eine Diagnose, die schwierig zu stellen ist. Der Test sagt uns, dass es nicht funktioniert, es ist rot, also gibt es einen Fehler, aber es ist kein Fehler, sondern etwas, das kontextabhängig ist: Vielleicht ist es das Netzwerk, das nicht gut funktioniert, eine Latenz. Und wir verlieren Zeit mit der Diagnose. Wir haben Erfahrung, aber es ist so kompliziert, dass die Intuition nicht ausreicht, und das ist der Punkt, an dem KI uns schnell große Vorteile bringen kann.
Welche Herausforderungen kann KI in Bezug auf die Testautomatisierung mit sich bringen?
Die KI wird es schwer haben, sehr kontextbezogen zu sein. Die Anwendungen, die wir testen, ähneln sich zwar, aber sie haben alle ihre Eigenheiten und diese Eigenheiten führen dazu, dass Entscheidungen, die für bestimmte Anwendungen gelten, nicht für andere Anwendungen gelten. Eine KI zu schaffen, die alle Probleme der Erde löst, ist nicht einmal eine Ambition. Vielmehr wird eine KI angestrebt, die sich an den Kontext anpassen kann . Sie muss also sehr schnell lernen, die Besonderheiten dieses Kontexts erraten und sehr relevant sein. Und hier werden wir in den kommenden Monaten oder Jahren enorme Schwierigkeiten haben, diesen Kontext zu finden und Entscheidungen zu treffen, die vielleicht radikal anders sind, als einen dominanten Durchschnitt zu haben, wo die KI derzeit stark ist: Sie hat viele Punkte und kann herausfinden, wo die Kurve zwischen all diesen Punkten verläuft, aber hier wird sie wissen müssen, wie sie die Punkte entfernen kann, die im Nutzungskontext für diese oder jene Anwendung keinen Sinn machen.
Was wäre in diesem Fall der ideale Kontext für KI als Teil der Testautomatisierung?
Ich würde mir wünschen, dass KI in Anwendungen eingebettet ist. Wir haben oft massenhaft Daten und verbringen viel Zeit damit, sie zu analysieren. Man lässt die Algorithmen laufen und hat am Ende eine KI, aber es fehlt ein wenig an Reaktionsfähigkeit und wenn man die KI direkt in die Anwendung einbaut, wird sie sehr schnell auf das Verhalten der Nutzer reagieren können. Das Nutzerverhalten ändert sich von einem Tag auf den anderen, es ist fast unmöglich, es vorherzusagen, und man hinkt immer ein bisschen hinterher. Wir haben die Daten, wir bereinigen die Daten und dann lassen wir die Algorithmen laufen.
Ich denke, wir werden KIs haben, die in Anwendungen eingebettet sind und die die Zeit für diese Rückkopplungsschleife minimieren werden. Die KI wird in der Lage sein, Empfehlungen zu geben: Die Nutzer machen das heute so, du solltest dir diese Art von Tests ansehen, etc. Wir sehen das bereits im Sicherheitsbereich. Sie sind die ganze Zeit am Überwachen und das ermöglicht es ihnen, neue Angriffe zu erkennen. Sie haben auch kollaborative KI: Sie haben mehrere Standorte und versuchen, das Wissen zu bündeln. So etwas könnte man sich zwischen verschiedenen Anwendungen vorstellen, und man merkt, dass sich der Nutzer verändert, dieses oder jenes Verhalten zeigt oder im Gegenteil, dass es Anomalien gibt. Und wenn es eine KI gibt, die mit der Anwendung eingebettet ist, sollte man sehr schnell ein Feedback an die Entwickler erhalten, um Fehlerkorrekturen vorwegzunehmen und viel reaktionsfähiger zu sein.
Wie könnte KI Ihrer Meinung nach Geschäftsteams, die kein technisches Profil haben, bei der Testautomatisierung helfen?
Wenn man eine KI in der Anwendung hat, müsste sie in der Lage sein, zwei Sprachen zu sprechen: die Sprache der Leute aus dem Fachbereich und die Sprache aller Personen, die an der Entwicklung der Anwendung arbeiten. Wenn man genügend Intelligenz in der KI hat, könnte man sich vorstellen, dass sie die Nutzer besser versteht und zu den Fachleuten gehen könnte, indem sie ihnen sagt, was die Nutzer genau tun. Bei einer E-Commerce-Website könnte dies bedeuten, dass man weiß, was sie kaufen. Das Fachpersonal sollte also in der Lage sein, auf die Daten der KI zu reagieren und dies oder jenes vorzuschlagen. Und ebenso sollte die KI den Entwicklern sagen, wo es ein Problem gibt, z. B. auf dem Bildschirm usw. Die KI sollte auch die Entwickler darauf hinweisen, wo es ein Problem gibt.
Das würde es auch den Leuten aus der Branche ermöglichen, Business-Tests, A/B-Testing, durchzuführen. Derzeit stellt man Metriken auf und schaut sie sich an, aber man könnte auch herausfinden, ob es sich lohnt oder nicht. Und wenn ich das mache, was wäre die Vorhersage der KI? Wird es sich lohnen oder nicht? Dasselbe könnte man sich auch auf der technischen Seite vorstellen: Und wenn ich das mache, werde ich neue Fehler einführen oder nicht?
Welche Risiken kann die KI für die Testwelt darstellen?
Um bei der Metapher der Punkte zu bleiben: Die KI ist sehr gut darin, die Kurve zu finden, die durch all diese Punkte verläuft, aber wenn wir sie nach dem nächsten Punkt fragen, wird sie uns den nächsten Punkt auf der Kurve nennen, die sie gezeichnet hat. Das Problem ist, wenn wir nicht die richtigen Punkte nehmen, wenn wir es übertreiben, wird die KI uns auf Grundstücke führen, die im Westen liegen.
Und ein zweites Problem, das auftreten kann, ist, dass esvielleicht Punkte gibt, die nicht auf der Kurve liegen und die interessant sind. Wir werden uns auch sagen müssen, dass es Momente gibt, in denen man der KI vielleicht den Stecker ziehen und Risiken eingehen muss. Und die Gewinner werden diejenigen sein, die es geschafft haben, Risiken gegen den Strom der KI-Vorhersagen einzugehen.
Es gibt also diese beiden Klippen: eine KI, die nicht sehr schlau ist und uns in die falsche Richtung schickt, und eine KI, die zwar schlau, aber auch nicht durchschlagend ist und uns nicht vorschlagen wird, einen Punkt zu nehmen, der nicht in die richtige Richtung geht, der aber trotzdem ein Wahnsinnserfolg sein wird. Die KI, sie macht Durchschnittswerte, das ist also das Risiko, dass wir uns zu sehr in der Routine verfangen.
Eben, wie groß ist Ihr Vertrauen in die KI?
Ich habe absolutes Vertrauen in die KI, wenn man bedenkt, dass die KI der Algorithmus ist, der die Kurve findet, die durch alle Punkte verläuft. Das ist keine sehr ehrliche Antwort, aber ich möchte die KI nicht besteuern, weil man ihr schlechte Punkte gegeben hat. Die KI lernt also, wenn ich ihr Dinge gebe, die nicht intelligent sind, wird sie Dummheiten lernen. Die Schwierigkeit besteht darin, ihr intelligente Dinge zu geben, aus denen sie lernen kann. Wir haben auch Algorithmen, die langsam verstehen, in welche Richtung man die Informationen geben muss, damit sie schnell lernt, aber die KI zu bitten, selbst zu entscheiden, welche Informationen sie verwenden und welche sie verwerfen soll, ist meiner Meinung nach nicht Aufgabe des KI-Algorithmus, diese Entscheidung zu treffen, sondern im Vorfeld, wo wir etwas anspruchsvoller sein müssen, was die Art und Weise angeht, wie wir Daten sammeln. Also ja, ich bin zuversichtlich, und ich denke, dass wir noch höhere Vertrauensraten erreichen werden, wenn wir in der Lage sind, die richtigen Punkte zu vergeben. Ob ich den Punkten, die wir vergeben, vertraue, viel weniger, aber für mich liegt das nicht mehr in der Verantwortung der KI.
Können Sie uns etwas über Ihre aktuelle Arbeit im Bereich Testing und KI erzählen?
Wir arbeiten viel daran, was die Nutzer aus der Webanwendung heraus tun, und wir beginnen, ziemlich viele Sonden zu haben, mit denen wir messen können, was die Nutzer tun. Und darauf aufbauend sollte eine KI in der Lage sein, uns zu erklären, wer unsere Nutzer sind. Es gibt viele Technologien, die dafür bekannt sind, eine Art Klassifizierung vorzunehmen: Es gibt den Mainstream-Nutzer, den Nutzer, der sehr selten ist, etc. Und die Idee ist, dass wir in der Lage sein sollten, automatisierte Testsätze zu liefern, die sagen: Wenn du testen willst, was der normale Nutzer macht, dann führe das einfach aus, wenn du die Trendnutzer testen willst, dann solltest du eher das tun. Die Arbeit hier, die ein wenig schwierig ist, besteht darin, alle Punkte zu nehmen, die Menschen in Anwendungen machen, und zu versuchen, zu sehen, ob man das nicht klassifizieren kann, ob man diese Punkte nicht kategorisieren kann und die KI bitten kann, verschiedene Kurven zu liefern. Sobald wir diese Verhaltensmuster haben, werden wir uns die Frage stellen können: Werden uns diese Muster nicht dabei helfen, die Anwendung besser zu testen? Das deckt sich mit allem, was ich gesagt habe, nämlich dass diese Verhaltensmodelle derzeit im Nachhinein erstellt werden, und wir würden sie gerne in Echtzeit haben, um zu wissen, ob sie sich nicht jeden Tag ändern, indem wir die KI direkt in die Anwendung einbinden.
Was halten Sie von diesem Interview? Nutzen Sie auch die Gelegenheit, unsere anderen Interviews mit Marc Hage Chahine und Bruno Legeard zu entdecken. !
