Введение в автоматизированное тестирование и его вызовы
Анализ результатов автоматизированного тестирования представляет собой важную и сложную задачу в области тестирования программного обеспечения. Применение ИИ для анализа результатов, по словам Мароша Кучи, на конференции QA Challenge Accepted, это необходимо чтобы в любой момент знать состояние продукта на основе результатов автоматических тестов. Искусственный интеллект (ИИ) может существенно помочь в этой области. Он позволяет сэкономить время на анализ, снизить вероятность человеческих ошибок и сосредоточиться на новых сбоях.
Куча отметил, что их команда столкнулась с трудностями при анализе результатов автоматизированных тестов. Они искали способы сделать процесс более эффективным и менее подверженным ошибкам. Например, если ежедневно запускается около 4000 тестовых сценариев и 5% из них завершаются неудачно, необходимо анализировать около 200 сбоев каждый день. Для решения этой проблемы они внедрили инструмент ReportPortal, использующий ИИ для анализа результатов тестирования.
Интеграция ИИ в процессы анализа тестов
ReportPortal можно установить бесплатно как локальное решение. Куча, будучи администратором, провел концептуальное исследование и интеграцию инструмента. Он решил возникающие проблемы. Тестировщики, работающие в командах, используют его ежедневно. Они входят в ReportPortal, находят результаты тестов, за которые отвечают, и видят количество сбоев в статусе “Требует расследования”. Сбои, произошедшие накануне, уже были проанализированы и классифицированы системой ИИ.
Для сбоев в статусе “Требует расследования” тестировщикам нужно провести стандартный анализ. Это включает отладку тестов и поиск коренной причины сбоя. ReportPortal показывает результаты анализа, позволяя увидеть, сколько сценариев сработали из-за ошибок в продукте. Также видны проблемы с автоматизацией или условиями среды. Кроме того, показано сколько сбоев все еще находится в статусе “Требует расследования”.
При первом использовании инструмента ReportPortal ничего не знает о сбоях. Тестировщики должны определить, является ли сбой ошибкой продукта, автоматизацией или проблемой среды. При следующем появлении того же сбоя в системе ему будет присвоен правильный статус на основе предыдущих решений с использованием ИИ.
Куча подчеркнул, что панели мониторинга, представляющие результаты анализа, обеспечивают высокоуровневый обзор тестирования и состояния приложения. Видимость состояния анализа осуществляется в реальном времени. Это позволяет видеть, кто работает над каким сбоем. Применение ИИ для анализа результатов помогает принять решение о том, можно ли выпускать приложение. Использование инструмента позволяет сэкономить время на анализе. Внимание сосредоточено только на новых сбоях, а не на всех сбоях.
Риски и преимущества использования ИИ в тестировании
Куча отметил: “Разница заключается в том, что если у вас сегодня 100 сбоев и только 2 из них новые, вам нужно проанализировать только 2 сбоя. Если вы не используете инструмент, вам придется разбираться со всеми 100.” Также число человеческих ошибок сокращается. Инструмент проводит сортировку старых сбоев на основе ранее принятых решений.
Однако Куча предостерег, что ИИ может принимать неверные решения, если его обучают по неправильным данным. “Если вы плохой учитель, ваш ученик (ReportPortal) будет плохо учиться”, — добавил он. В случаях, когда один из коллег связал сбой с неправильным тикетом Jira или присвоил неверный статус, это можно “разучить”, изменив решение вручную. Поэтому важная задача — это правильное применение ИИ для анализа результатов.
Использование ИИ правильно может сэкономить много времени и снизить количество человеческих ошибок. Как только вы удостоверитесь, что инструмент работает корректно, вы можете полагаться на него. Вашим коллегам не придется сортировать сбои самостоятельно.
Преодоление вызовов интеграции ReportPortal в автоматизацию тестирования: опыт Maroš Kuča
В интервью для InfoQ Марош Куча рассказал о том, с какими вызовами им пришлось столкнуться на этом пути и как они их преодолевали. “Мы начали с разработки концепции, которая подтвердила возможность интеграции инструмента в нашу систему автоматизации тестирования. Основной задачей было убедить коллег следовать новому процессу анализа результатов тестирования с использованием ReportPortal. Изначально им нужно было классифицировать все существующие сбои. Это подразумевало присвоение им правильного статуса (проблема с автоматизацией, ошибка продукта, проблема среды) и тикета в Jira. Мы провели пробный период использования в отдельных командах, а затем все команды начали его использовать. Отзывы о пробном периоде были положительными. Тестировщики отметили, что это помогает им в расследовании”.
В заключение Куча отметил, что важно удостовериться в надежности ИИ перед тем, как начать на него полагаться. “Нам нужно было быть уверенными, что ReportPortal принимает правильные решения. Это зависело от того, как мы обрабатывали стек-трейсы в нашей системе автоматизации тестирования и от настроек ReportPortal.” Большинство обсуждений сосредоточено на использовании ИИ для создания кода автоматизации тестирования. Но мы узнали, что анализ результатов автоматизированного тестирования также является подходящей областью для применения ИИ. Мы можем использовать ИИ (включая генеративный ИИ) для множества случаев в тестировании.
Источник: InfoQ