На пути к эффективному тестированию: выбираем лучшую TMS

На рынке более сотни систем управления процессом тестирования (Test Management System), и даже среди наиболее популярных можно выделить десятки вариантов.

Сегодня расскажем, как найти подходящую TMS, особенно когда у вас уникальные требования. Для упрощения выбора выделили три Test Management System, которые рассмотрим в данной статье. В конце представим сравнительную таблицу, которая поможет принять взвешенное решение при поиске.

Также поведаем о собственном опыте, о пяти этапах, которые прошли при поиске системы, предоставим аргументы, почему остановились именно на Eqator.

Услуга тестирования

С развитием компании, у нас появляются все новые услуги. Недавно дошла очередь и до тестирования. Сначала наняли одного тестировщика, который делал все вручную. Однако количество проектов росло, как и количество тестировщиков. Поэтому задумались о стандартизации услуги и формировании  отдельного направления в компании.

Вместе с отделом появилась потребность в TMS, чтобы сделать услугу более прозрачной, а также создать единое место хранения тестовой документации.

Требования к системе

Сначала ответили себе на вопрос: «Какие ожидания от будущей TMS?». Проанализировали текущие процессы тестирования, определили слабые места, сформулировали ключевые требования.

Выбрать подходящую TMS из сотен вариантов на рынке было сложно. Изучили отзывы пользователей, функционал, провели демонстрации платформ.

После анализа рынка выделили 3 варианта, которые соответствовали нашим требованиям. Провели их сравнительную оценку по критериям стоимости, функционала и возможностей настройки.

Выбор инструмента

После активного сбора внутренних требований, сформировали критерии, которым должна отвечать платформа:

• Интерфейс. Интуитивно понятные элементы управления, ненагруженный интерфейс.
• Структура хранения документации. Инструменты для создания или изменения структуры хранения тестовой документации, чтобы тестировщики могли организовать тест-кейсы, чек-листы, наборы тестов в логические группы, подгруппы.

• Ролевая модель. Настройка прав доступа для ролей пользователей.
• Формирование и выгрузка отчетов. Функционал отчетов, чтобы отслеживать результаты тестирования, а также результативность команды
• Кастомизация. Настройка тегов, атрибутов.
• Интеграции.Функционал интеграции с сервисами GitLab, Jira.
• Документация. Понятная, отслеживаемая структура документации по работе с ТМS.

Анализ рынка

Изучили рынок и выделили 3 TMS, которые отвечают всем описанным выше критериям:

1. TestIT — платформа может систематизировать тестовую документацию. Предназначена для больших команд. Функционал для вынесения общих шагов является отличием системы от других. Удобно при написании тест-артефактов.
2. DoQA — обладает удобным интерфейсом. Главным отличием от остальных TMS стало отсутствие интеграции с Jira. А также логическая путаница во время создания тестовой документации, которая создается в статусе «Черновик». Нельзя добавить статус «Создано». Система не даёт приоритета в использовании малому бизнесу или большим корпорациям.
3. Eqator — позволяет вести единую тестовую документацию разных типов. В отличии от других платформ, в Eqator внедрен AI, который помогает в написании документов. Эта система может подойти как маленьким, так и средним командам тестирования.

Составили сравнительную таблицу ключевых требований к TMS для наглядности:

В DoQA нельзя создать дефект-репорты из приложения. Поэтому отсеили платформу на этапе сравнения.

TestIT и Eqator схожи между собой, включают весь необходимый функционал. TestIT предназначен для крупного бизнеса, который использует в работе автоматизированное тестирование. Поскольку в данный момент наша команда тестировщиков предоставляет услуги исключительного мануального тестирования, нам не требуется развернутый функционал. Поэтому выбрали Eqator.

Eqator

• Отечественная система. Нет проблем с оплатой.
• Удобный и ненагруженный интерфейс. У платформы интуитивно понятный внешний вид, простые элементы управления.

• Кастомная ролевая модель. Можно добавлять отдельные роли с персональными настройками. Пользователи, в зависимости от функций в команде, могут получить разные уровни доступа, а также разрешений в системе.

• Отчетность и аналитика.Есть возможность генерации отчетов, анализа результатов тестирования. Платформа может предложить графическое представление данных и диаграммы. Позволяет легко изучать, а затем отслеживать результаты.

• Детальное руководство пользователя. Во время знакомства с руководством не возникает вопросов и трудностей с пониманием функционала.
• Удобная структура хранения документации. В платформе можно настроить структуру тегов, атрибутов, которые подойдут под требования конкретного проекта.

Первые результаты

Смогли выделить несколько важных для нас моментов спустя две недели использования:

• Поняли, что у TMS гибкая структура тестовой документации, пока переносили артефакты тестирования из Google таблиц.
• Интуитивно понятный интерфейс, простая навигация помогают быстрее освоить систему.
• Платформа дает возможность отслеживать, управлять тестовыми документами и знакомиться с результатами тестов.

Продолжаем погружаться в платформу. Активно используем Eqator, тестируем на внутренних проектах и изучаем встроенные функции. Во время использования не сталкивались с явными подвисаниями, ошибками или другими проблемами.

Заключение

Выбрать правильную систему управления тестирования программного обеспечения для ИТ-компании важно, так как от этого зависит в том числе качество оказываемых QA услуг.

Мы провели детальный анализ потребностей, сформировали требования, исследовали рынок TMS и выбрали подходящую под наши цели систему. В результате остановились на платформе Eqator, которая удовлетворяет нашим текущим и перспективным задачам по тестированию.

Пока рано делать окончательные выводы, но уже заметны положительные изменения после внедрения Eqator. Применение TMS делает процесс более структурированным, прозрачным, управляемым. А это влияет на качество услуг для заказчиков.