Welches Testmanagementsystem (TMS) ist das Beste?

Sowohl aqua als auch Katalon bieten eine solide Grundlage: Testfälle, Testpläne, benutzerdefinierte Felder, Ausführungshistorie und Änderungsprotokolle. aqua enthält konfigurierbare Workflows, gemeinsame Ansichten und adaptive Feldlogik in allen kostenpflichtigen Plänen. Katalon bietet über TestOps zentralisiertes Management für manuelle und automatisierte Tests mit Echtzeit-Dashboards und Test-Orchestrierung. Konfigurierbare Workflows und gemeinsame Team-Ansichten stehen bei aqua in jedem kostenpflichtigen Tarif zur Verfügung. Katalon führt sie im öffentlichen Tarifvergleich nicht auf; sie erscheinen nur in Enterprise-Vereinbarungen.

aqua bietet 14+ native Integrationen für den etablierten QA-Automatisierungs-Stack: Jira, Jenkins, Confluence, JMeter, PowerShell, Database MSSQL, UnixShell, SoapUI, Ranorex, Database Oracle, REST API, Azure DevOps, UFT und Selenium. Die Jira-Integration umfasst eine bidirektionale Echtzeitsynchronisierung. aqua Capture, das native Fehleraufzeichnungs-Tool, ist in allen kostenpflichtigen Plänen enthalten. Katalon deckt ein breiteres Entwickler-Ökosystem ab: CI/CD-Pipelines (Jenkins, GitHub Actions, GitLab, Azure DevOps, CircleCI, Bamboo), Test-Frameworks (Selenium, Cypress, Playwright, Cucumber, Jest, Pytest, Robot), Cloud-Ausführungsplattformen (BrowserStack, LambdaTest, SauceLabs) sowie ALM-Tools (Jira, qTest, TestRail, Xray, Zephyr). Katalon bindet zudem Git-Versionsverwaltung an (GitHub, GitLab, Bitbucket, Azure Repos) und wertet Playwright-Ergebnisse aus.

aqua setzt auf modulare Einzelprodukt-Lizenzierung. Die Module Requirement Management und Test Management kosten jeweils 89 €/Monat pro Nutzer bei jährlicher Abrechnung. Die Test-Runner-DEV-Lizenz steht für 19 €/Monat zur Verfügung — konzipiert für Entwickler und QA-Spezialisten, die Tests ausführen, ohne am Test- oder Anforderungsmanagement beteiligt zu sein. Gastlizenzen sind in jedem Plan kostenlos enthalten. Zusätzlich gibt es eine Concurrent-Lizenz mit gemeinsam genutztem konkurrentem Zugriff für verteilte Teams, deren Preis individuell vereinbart wird. Die aqua Suite License bündelt das vollständige ALM-Paket für 99 €/Monat in der Private Cloud oder On-Premise. Katalon verkauft drei Tarife: Katalon Studio ab 84 USD pro Platz und Monat bei jährlicher Abrechnung für die ersten drei Plätze und 150 USD ab dem vierten, True Automation mit Testmanagement für 167 USD sowie ein individuell bepreistes Enterprise. Die Ausführung hat eine eigene Lizenz zusätzlich zu den Plätzen: 1.749 USD pro Jahr je Runtime Engine und 1.899 USD pro Jahr je paralleler TestCloud-Sitzung. Ein Fünf-Personen-Team mit je einer davon liegt bei rund 12.700 USD im Jahr.

aqua bietet On-Premise-Deployment seit seiner ersten Version und stellt es weiterhin über die aqua Suite License neben einer Private Cloud bereit. Katalon bietet mittlerweile ebenfalls On-Premise-Deployment für TestOps an, eingeführt für Organisationen mit strengen Compliance-Anforderungen. Die verfügbaren Optionen umfassen Public SaaS, Private SaaS (Single-Tenant) und On-Premises. Katalon ist nach ISO 27001 und SOC 2 zertifiziert. aqua ist nach ISO 27001 zertifiziert und betreibt DSGVO- und DORA-konformes Hosting auf EU-Servern, was für Banken, Versicherer und die öffentliche Hand in Europa meist den Ausschlag gibt.

aqua bietet vollständig anpassbare Dashboards in allen kostenpflichtigen Plänen, die auf beliebige Workspace-Daten zugreifen können. Hinzu kommen KPI-Alarme, die Nutzer benachrichtigen, sobald ein Messwert einen festgelegten Schwellenwert über- oder unterschreitet. Katalon (TestOps) stellt konfigurierbare Dashboards mit Echtzeittransparenz zu Testfortschritt, ungetesteten Bereichen und Release-Bereitschaft bereit, dazu benutzerdefinierte Dashboards und Widgets im Tarif True Automation. Automatische schwellenwertbasierte KPI-Alarme bietet Katalon nicht.

aqua bietet ein vollständig konfigurierbares Berichtssystem mit Drag-and-drop-Layouts, Pivot-Tabellen, benutzerdefinierten Skripten, parametrisierten Berichten, externer Text- und Bildeinbettung sowie sowohl vorlagenbasierter als auch individueller Berichtserstellung. Berichte können extern geteilt werden. Katalon bietet Traceability- und Coverage-Berichte, Flaky-Test-Erkennung und Export mit erweiterten Freigabeeinstellungen. Einen Berichtsersteller gibt es dort nicht: gespeicherte Vorlagen, Drag-and-drop-Layouts, Pivot-Tabellen und skriptgesteuerte Berichte bietet nur aqua.

aqua bietet granulare Rollen und Berechtigungen in allen kostenpflichtigen Plänen; benutzerdefinierte Rollen stehen jedem Kunden zur Verfügung. Individuelle Benutzerberechtigungen gehen dabei über rollenbasierte Zuweisungen hinaus. Katalon bietet rollenbasierte Zugriffskontrolle mit Standardrollen in allen Plänen sowie SSO, SCIM-Bereitstellung und Audit-Logs im Enterprise-Plan.

aqua bietet vollständige ALM-Abdeckung über seine modularen Lizenzen: Requirement Management und Test Management, einzeln oder gemeinsam über die aqua Suite License buchbar. Katalon deckt ALM über vier separat lizenzierte Produkte ab: Studio für die Testerstellung, TestOps für das Testmanagement, TestCloud für die Ausführung und TrueTest für Produktions-Insights. Beide Tools verknüpfen Testfälle mit Anforderungen und unterstützen Projektmanagement-Workflows.