Главная
Конференции
Инновационные подходы к решению современных научных проблем
Применение автоматизации в регрессионном тестировании программного обеспечения

10.5281/zenodo.14025720

Применение автоматизации в регрессионном тестировании программного обеспечения

Секция

Технические науки

Ключевые слова

автоматизация
регрессионное тестирование
программное обеспечение
тестирование
инструменты
Selenium
Cypress
стабильность
ошибки
автоматизация тестирования

Аннотация статьи

Автоматизация регрессионного тестирования программного обеспечения играет ключевую роль в обеспечении стабильности систем после обновлений. В условиях роста сложности и масштабов приложений автоматизация позволяет значительно сократить время и затраты на тестирование, повышая при этом точность и эффективность процесса. Использование таких инструментов, как Selenium, Cypress и другие, позволяет автоматизировать значительную часть тестов, обеспечивая постоянное качество и надежность программных продуктов. Автоматизация также способствует улучшению пользовательского опыта за счет быстрого выявления и устранения ошибок, возникающих в процессе разработки и обновления приложений. Однако внедрение автоматизированного тестирования требует тщательной подготовки, выбора соответствующих инструментов и создания тестовых сценариев, которые могут легко поддерживаться и адаптироваться к изменениям в коде. Несмотря на вызовы, автоматизация позволяет повысить эффективность тестирования и снизить риск возникновения ошибок в новых функциях программного обеспечения.

Текст статьи

Введение

Рост сложности программных систем и увеличение количества функций в программных продуктах приводит к необходимости проведения регулярного тестирования. Одним из ключевых видов тестирования, который обеспечивает стабильность и надежность работы приложения после внедрения новых функций или исправления ошибок, является регрессионное тестирование. Оно помогает убедиться в том, что изменения в коде не нарушили работу уже существующего функционала.

Традиционные методы регрессионного тестирования предполагают значительные временные и трудовые затраты, особенно при ручном подходе. Внедрение автоматизации тестирования позволяет сократить временные и материальные ресурсы, увеличивая при этом точность и эффективность проверки программных систем. Автоматизация регрессионного тестирования не только ускоряет процесс обнаружения ошибок, но и минимизирует человеческий фактор, что особенно важно для поддержания стабильности сложных программных решений.

Актуальность данной темы обусловлена тем, что в условиях динамично меняющихся требований к программному обеспечению и необходимости его частых обновлений, ручное тестирование становится все менее эффективным и не позволяет своевременно обнаруживать ошибки в обновленных системах. Автоматизация тестирования, в свою очередь, становится важнейшим инструментом, обеспечивающим высокое качество программных продуктов, сокращая время их вывода на рынок.

Целью данной работы является исследование преимуществ и вызовов, связанных с применением автоматизации в регрессионном тестировании программного обеспечения, а также анализ существующих инструментов и подходов, которые способствуют повышению эффективности тестирования.

1. Принципы регрессионного тестирования

Регрессионное тестирование представляет собой процесс проверки системы на наличие ошибок, которые могли возникнуть в результате внесения изменений в её функционал [1]. Методы регрессионного тестирования можно разделить на несколько категорий:

  1. Полное регрессионное тестирование. Этот метод предполагает повторное выполнение всех тестов после каждого внесённого изменения. Такой подход занимает много времени, но позволяет выявить максимальное количество ошибок. Он особенно полезен при адаптации программ для новых платформ или обновлений операционных систем [2].
  2. Таргетированное тестирование. В этом случае проверке подвергаются только те участки системы, на которые могли повлиять изменения. Это позволяет сэкономить время, сосредоточив внимание на критически важных областях. Например, при изменении механизма авторизации можно ограничить тестирование только этой функции, исключив проверку других аспектов [3].
  3. Приоритизация тестов. Данный метод предполагает определение порядка запуска тест-кейсов, исходя из важности функций и частоты возникновения ошибок. Например, при добавлении новой, долгожданной пользователями функции оплаты через электронный кошелек, её тестирование должно стать приоритетным.

Регрессионное тестирование помогает поддерживать стабильность работы системы, минимизируя риски возникновения сбоев в работе уже реализованных функций после внедрения обновлений [4].

В таблице 1 будут описаны существующие виды регрессионного тестирования.

Таблица 1

Виды регрессионного тестирования [4]

КорректирующееИспользуют, когда программу обновляют, но не меняют её основные функции. Например, в приложении улучшили дизайн, но не изменили способ оформления заказа. Тестировщик использует тесты, которые уже создавал для проверки функциональности приложения.
ПрогрессивноеНужно, когда изменения в программе затрагивают её основные функции. Например, в приложении решили сделать новую функцию — добавлять товары в избранное. Чтобы убедиться, что новая функция не ломает другие процессы, нужно создать новые тесты.
ПовторноеЗапускают заново после каждого обновления программы. Например, в приложение для обработки платежей внесли изменения, чтобы улучшить процесс оплаты. Тестировщик запускает тесты всей функциональности, чтобы убедиться — новый процесс оплаты не вызвал проблем с другими частями приложения.
ВыборочноеКак и прогрессивное, используют, когда изменения в программе затрагивают её основные функции. В случае выборочного создают новые тесты и обновляют те, что есть. Этот метод позволяет выбрать только тесты, которые покрывают изменённые или новые функции программы, чтобы уменьшить время и затраты на тестирование. Например, в приложение добавили вариант оплаты через СБП: тестировщик создаёт новые тесты для проверки этой функции и запускает их вместе со старыми тестами, которые может затронуть изменение.

В свою очередь план регрессионного тестирования для большей наглядности будет отражен в таблице 2 ниже.

Таблица 2

План выборочного регрессионного тестирования [5]

Определение измененийПомогает понять, какие части системы изменили и как это повлияло на код.
Создание тестовТест-кейсы помогают убедиться в том, что после обновлений приложение работает так, как ожидалось. Чтобы создать набор таких кейсов, тестировщик использует существующие сценарии и тест-кейсы. Они могут быть интеграционными для проверки взаимодействия разных частей программы, модульными для проверки отдельных частей программы или для проверки производительности насколько стабильно работает программа. Всё зависит от того, что планируется тестировать.
Приоритизация тестовПомогает избежать лишних проверок и сфокусироваться на критичных ошибках. Тестировщик учитывает не только своё мнение, но и получает оценку приоритета теста от других участников команды коллег и заказчиков. Это поможет объективно оценить степень влияния проблемы на пользователя и бизнес. Первый приоритет обычно присваивают тест-кейсам, которые напрямую влияют на прибыль компании. Затем идут те, которые косвенно влияют на прибыль. Последними всё, что не влияет на прибыль, лояльность пользователей или репутацию.
Планирование тестовТестировщик формулирует пошаговый план и готовит подходящую систему для выполнения регрессионного тестирования, определяет частоту и время выполнения тестов, смотрит, какие из тестов можно автоматизировать, чтобы сэкономить ресурсы.
ТестированиеТестировщик проводит тестирование и фиксирует результаты.
Анализ результатовОценка итогов, выявление ошибок и передача их разработчикам для доработки.
Повторное тестированиеЕсли появились новые ошибки, их исправляют и снова проводят регрессионное тестирование.

Внедрение этой методологии позволяет минимизировать риск возникновения неожиданных сбоев и поддерживать высокое качество продукта.

  1. Гарантия сохранения качества продукта: Регрессионные тесты помогают убедиться, что после изменений программное обеспечение сохраняет свою работоспособность и производительность на должном уровне. Они способствуют поддержанию общего качества и стабильности приложения.
  2. Раннее выявление непредусмотренных ошибок: Тестирование позволяет выявлять потенциальные проблемы на начальных этапах, что способствует их оперативному устранению до того, как они превратятся в серьезные неисправности. Это обеспечивает более эффективное использование времени и ресурсов в долгосрочной перспективе.
  3. Уверенность в корректности нового кода: Разработчики могут с большей уверенностью вносить новые функции, зная, что регрессионные тесты предотвратят негативное влияние на ранее реализованный функционал.
  4. Повышение качества пользовательского опыта: Приложение, работающее без ошибок и сбоев, улучшает восприятие со стороны пользователей, что способствует их удержанию и увеличению уровня удовлетворенности.

Далее в таблице 3 будут описаны основные этапы регрессионного тестирования.

Таблица 3

Основные этапы регрессионного тестирования [6]

ЭтапОписание
Определение тестовых сценариевНа первом этапе выявляются измененные области приложения, требующие повторного тестирования. Процесс основан на анализе обновленных или модифицированных компонентов системы.
Приоритизация тестовОпределяются наиболее критичные функции приложения. Это позволяет сосредоточиться на тестировании тех сценариев, которые имеют высокий приоритет.
Автоматизация тестовДля повышения эффективности используется автоматизация, которая помогает экономить время и обеспечивает согласованность результатов. Инструменты, такие как Apidog, полезны для тестирования API.
Запуск тестов и анализ результатовПосле выполнения тестов результаты сравниваются с ожидаемыми значениями. Отклонения фиксируются для дальнейшего анализа.
Анализ и корректировкаАнализируются обнаруженные ошибки и вносятся исправления в код. Проводится повторное тестирование для подтверждения устранения проблем.
Актуализация тестовРегулярно пересматриваются и обновляются тестовые сценарии, чтобы оставаться актуальными и эффективными при изменениях в приложении.

Создание стратегии для регрессионного тестирования требует тщательного планирования с учётом множества факторов, влияющих на эффективность тестирования. Рассмотрим некоторые подходы, которые помогут выработать оптимальную стратегию регрессионных тестов:

  • Повторное выполнение уже существующих тестов: после выпуска программного продукта тестировщикам следует уделить внимание повторной проверке ранее выявленных проблемных областей. Этот процесс может оказаться трудоёмким, особенно в контексте ручного тестирования.
  • Приоритетное выполнение ключевых тестов: около половины времени, выделенного на регрессионное тестирование, необходимо посвятить повторной проверке наиболее значимых функций приложения, что позволит избежать критических сбоев.
  • Тестирование сложных компонентов: многие программные системы содержат сложные элементы, которые могут стать источником неполадок. Несмотря на их сложность, такие компоненты должны демонстрировать высокое качество работы.
  • Исследовательское тестирование: при изучении новых возможностей программного обеспечения важно разрабатывать и запускать новые тесты для этих функций, что способствует выявлению свежих дефектов [7].

Автоматизация тестирования позволяет значительно повысить производительность и сократить затраты времени и ресурсов на выполнение рутинных проверок. Применение скриптов автоматизации способствует ускорению выполнения тестов и повышает их эффективность.

Дополнительно необходимо уделить внимание случайному тестированию, при котором специалист по тестированию берёт на себя роль конечного пользователя и проводит непредсказуемые проверки. Этот подход позволяет выявить скрытые проблемы, которые могут не проявиться при обычных тестах [8].

2. Инструменты и методы автоматизации регрессионного тестирования

При регрессионном тестировании обычно выбираются тестовые случаи из уже существующего набора, что исключает необходимость вычисления их ожидаемых результатов. Это делает процесс более удобным для автоматизации, что, в свою очередь, повышает его эффективность и снижает временные затраты [9]. Ниже приведены несколько инструментов, которые широко применяются в рамках регрессионного тестирования.

1. Selenium

  • Открытая лицензия: этот инструмент доступен по лицензии с открытым исходным кодом, что позволяет использовать его бесплатно и модифицировать под нужды проекта.
  • Широкая поддержка браузеров: Selenium работает с различными браузерами, включая Google Chrome, Mozilla Firefox, Safari и Microsoft Edge, что дает возможность тестировать приложения в разных средах.
  • Мульти-языковая поддержка: инструмент позволяет разрабатывать тестовые сценарии на таких языках программирования, как Java, Python, C#, Ruby и JavaScript, что обеспечивает большую адаптивность.
  • Кроссплатформенность: он функционирует на разных операционных системах, таких как Windows, macOS и Linux, что делает его универсальным.
  • Тестирование веб-приложений: специализирован для тестирования веб-систем, что делает его идеальным решением для задач регрессионного тестирования в этой области.
  • Поддержка сообщества: Selenium активно поддерживается сообществом разработчиков и тестировщиков, которые создают плагины и расширения, что упрощает настройку автоматизации.
  • Интеграция с CI/CD: инструмент легко интегрируется с такими системами, как Jenkins, что позволяет автоматизировать тестирование в процессе разработки и развертывания [10,11].

   2. Cypress

  • Выявление ошибок: применение Cypress в регрессионном тестировании позволяет выявлять потенциальные ошибки и дефекты в функциональности приложения, возникающие после внесения изменений в код.
  • Визуальное тестирование: поддержка визуального тестирования на базе Cypress может применяться плагин cypress-image-snapshot, который реализует создание и последующее сравнение снимков экрана, что позволяет своевременно выявлять любые изменения в визуальной составляющей интерфейса.
  • Интеграция с Percy: автоматизация визуального тестирования может быть выполнена посредством интеграции Cypress с инструментом Percy. После проведения тестов Percy отправляет сделанные снимки экрана на облачную панель управления, где можно осуществить анализ различий между эталонными изображениями и новыми скриншотами. Этот процесс помогает быстро определить, какие изменения необходимо принять, а какие – отклонить.
  • Функциональные возможности: Cypress поддерживает написание как функциональных, так и end-to-end тестов, что делает его универсальным инструментом для полного тестирования веб-приложений. Инструмент включает встроенные функции для работы с сетевыми запросами, времени ожидания элементов и взаимодействия с DOM, что упрощает выполнение тестов и снижает вероятность ложных срабатываний [12,13].

2. testRigor

  • Интеллектуальная автоматизация: testRigor применяет ИИ для автоматизации создания и поддержания тестов, что уменьшает затраты на ручное тестирование.
  • Тестирование на естественном языке: инструмент поддерживает создание тестов на английском языке, что упрощает их написание для разных специалистов.
  • Автоматизация без написания кода: позволяет создавать тестовые сценарии без необходимости программирования, что снижает зависимость от разработчиков.
  • Кросс-платформенность: поддерживает тестирование на различных браузерах и устройствах, что обеспечивает стабильность работы в разных средах.
  • Автономные тесты: автоматически обновляет тестовые сценарии в случае незначительных изменений в интерфейсе, снижая затраты на поддержку тестов [14].

3. Sahi Pro

  • Многобраузерное тестирование: Sahi Pro поддерживает выполнение тестов в различных браузерах, обеспечивая их стабильность и надежность.
  • Простота использования: инструмент включает функцию записи и воспроизведения без необходимости написания скриптов.
  • Детализированные отчеты: генерирует отчеты, которые помогают анализировать результаты и контролировать качество тестируемого продукта.
  • Интеграция с CI-инструментами: интегрируется с Jenkins и другими CI-инструментами для оптимизации автоматизации тестирования.
  • Масштабируемость: обладает способностью эффективно обрабатывать крупные проекты по автоматизации.
  • Гибкость в использовании сценариев: поддерживает как автоматизацию без скриптов, так и возможность создания более сложных сценариев на JavaScript.

4. Testlio

  • Международная сеть тестировщиков: Testlio предоставляет доступ к сети профессиональных тестировщиков по всему миру, что расширяет охват по устройствам и операционным системам.
  • Тестирование по запросу: инструмент поддерживает гибкое планирование и тестирование по необходимости, что повышает скорость регрессионного тестирования.
  • Интегрированная платформа: включает управление тестированием, его выполнение и отчетность в единой платформе, что упрощает процесс тестирования.
  • Детализированные отчеты: генерирует отчеты с практическими рекомендациями, что помогает расставлять приоритеты при исправлении проблем [15].

3. Преимущества и вызовы автоматизации в регрессионном тестировании

Регрессионное тестирование выполняется после внесения изменений в уже существующие функции или исправления ошибок, выявленных в процессе тестирования. Этот вид тестирования основан на наборе тестовых случаев, количество которых в крупных проектах может достигать нескольких тысяч. Для сокращения времени на проведение такого тестирования рекомендуется повторять его от трех до пяти раз. В связи с этим активно применяются методы автоматизации, позволяющие существенно ускорить процесс [16].

Автоматизированное тестирование подразумевает управление тестовыми мероприятиями, включая разработку и выполнение тестовых сценариев, которые соответствуют требованиям тестирования, с применением специальных инструментов. Автоматизация особенно эффективна в тех случаях, когда тестовые процедуры регулярно запускаются различными скриптами, либо когда одни и те же скрипты используются многократно. Такое многократное выполнение сценариев позволяет достичь значительных результатов и экономии времени [17].

Однако, успешность автоматизации тесно связана с особенностями самого приложения. В большинстве ситуаций возможно спроектировать автоматические тесты таким образом, чтобы время на их разработку не превышало затраты на ручное тестирование. Для этого необходимо учитывать несколько важных аспектов: 

  • Выбирать те сценарии, которые легко поддаются автоматизации.

  • Обеспечить простоту поддержки автотеста и многократность использования отдельных его частей в различных тестах

  • Минимизировать участие специалиста по тестированию в настройке автотеста, сводя его роль к настройке окружения или подготовке данных для тестирования [18].

Несмотря на очевидные преимущества автоматизации, следует учитывать, что процесс разработки и поддержания автоматических тестов может занимать значительное время. Кроме того, не вся функциональность приложения может быть автоматизирована.

Среди преимуществ автоматического тестирования можно выделить возможность запуска тестов в любое время на удаленных серверах, что позволяет параллельно с ручным тестированием проводить автоматические проверки [19,20].

Заключение

Автоматизация регрессионного тестирования программного обеспечения является важным аспектом обеспечения стабильности и качества современных систем. Использование автоматизации позволяет значительно ускорить процесс тестирования, особенно в условиях сложных и масштабных проектов. Применение инструментов для автоматизации, таких как Selenium и Cypress, способствует эффективному выполнению тестов и выявлению ошибок на ранних этапах разработки. Однако успешное внедрение автоматизации требует глубокого планирования, разработки качественных тестовых сценариев и правильного выбора инструментов. Несмотря на возможные сложности, такие как высокая стоимость внедрения и поддержания тестов, автоматизация значительно улучшает процессы тестирования и снижает вероятность возникновения ошибок, что в конечном итоге повышает удовлетворенность пользователей и способствует успешному выпуску продукта на рынок.

Список литературы

  1. Данилов А. Д., Мугатина В. М. Решение задачи оптимизации регрессионного тестирования с использованием нейросетевого подхода // Моделирование, оптимизация и информационные технологии. 2020. Т. 8. №. 1. С. 35-36.
  2. Михальчук В. Д., Решентикова И. В. Использование ручного и автоматизированного тестирования ПО в гибких методологиях проектирования // Современные инструментальные системы, информационные технологии и инновации. 2020. С. 203-207.
  3. Тумбинская М. В. Обобщенный алгоритм распространения таргетированной информации в системах социальных сетей // Национальные интересы: приоритеты и безопасность. 2017. Т. 13. №. 3 (348). С. 584-600.
  4. Горностаева Е. И. Управление качеством проектов разработки программного обеспечения на основе методов тестирования // Избранные научные труды. XIX Международная научно-практическая конференция «Управление качеством», 12-13 марта 2020 года. Litres, 2022. С. 68.
  5. Роднянский М. О., Сутягин Н. Р. Паттерны автоматизации тестирования, Java, Page Object Model // Современная наука 3. 2024. С. 31.
  6. Этапы и принципы тестирования ПО. https://sky.pro/wiki/profession/etapy-i-principy-testirovaniya-po/ (дата обращения: 08.09.2024).
  7. Бируля М. Д. Управление качеством при разработке программного обеспечения // Advanced Engineering Research (Rostov-on-Don).2024. Т. 24. №. 3. С. 255-263.
  8. Minhas N. M. et al. Using goal–question–metric to compare research and practice perspectives on regression testing // Journal of Software: Evolution and Process.2023. Т. 35. №. 2. С. e2506.
  9. Minhas N. M. et al. Regression testing for large-scale embedded software development–Exploring the state of practice // Information and software technology. 2020. Т. 120. С. 106254.
  10. Фролов В. В. и др. Модель автоматизированного тестирования программного обеспечения // Актуальные проблемы авиации и космонавтики. 2021. Т. 2. С. 576-578.
  11. Mori A., Paiva A. C. R., Souza S. R. S. An approach to regression testing selection based on code changes and smells // Proceedings of the 8th Brazilian Symposium on Systematic and Automated Software Testing. 2023. С. 25-34.
  12. Букарев А. В. Обзор современных методов автоматизированного тестирования программного обеспечения для мобильных платформ // Современные тенденции развития науки и мирового сообщества в эпоху цифровизации. 2022. С. 104-111.
  13. Коледачкин А. А. Преимущества и недостатки автоматизации тестирования: анализ экономической эффективности и качества // Universum: технические науки. 2024. Т. 1. №. 9 (126). С. 18-27.
  14. Шарипов Р. Р. Путь к автоматизированной успешной веб-разработке: роль тестирования // ББК 2/8 И 88. 2023. С. 106.
  15. Денисов Е. Ю., Волобой А. Г., Калугина И. А. Автоматическое регрессионное тестирование программных комплексов // Новые информационные технологии в автоматизированных системах. 2018. №. 21. С. 89-94.
  16. Рывков Д. С. Преимущества и недостатки автоматизированного тестирования программного обеспечения. – 2020.
  17. Ильин В. П., Леонтьев А. Д. Требования к автоматизированным системам регрессионного тестирования программного обеспечения // Новая наука: Современное состояние и пути развития. 2016. №. 10-2. С. 178-179.
  18. Гришин Д. Е. и др. Разработка среды для автоматизации тестирования программного обеспечения // Молодежная наука: вызовы и перспективы. 2019. С. 73-75.
  19. Золотухина Е. Б., Макарова Е. А., Беляков А. А. Обзор методов тестирования программного обеспечения // Аллея науки. 2018. Т. 4. №. 6.С. 10-18.
  20. Барвин С. К., Попов Д. В. Автоматизация ручного регрессионного тестирования web-приложений // Современные научные исследования и инновации. 2019. №. 4. С. 19-19.

Поделиться

Климов Н. Д. Применение автоматизации в регрессионном тестировании программного обеспечения // Инновационные подходы к решению современных научных проблем : сборник научных трудов по материалам Международной научно-практической конференции 11 сентября 2024г. Белгород : ООО Агентство перспективных научных исследований (АПНИ), 2024. URL: https://apni.ru/article/10053-primenenie-avtomatizaczii-v-regressionnom-testirovanii-programmnogo-obespecheniya

Обнаружили грубую ошибку (плагиат, фальсифицированные данные или иные нарушения научно-издательской этики)? Напишите письмо в редакцию журнала: info@apni.ru

Похожие статьи

Актуальные исследования

#50 (232)

Прием материалов

7 декабря - 13 декабря

осталось 4 дня

Размещение PDF-версии журнала

18 декабря

Размещение электронной версии статьи

сразу после оплаты

Рассылка печатных экземпляров

31 декабря