Современные методы тестирования программного обеспечения

Введение

Развитие информационных технологий, совершенствование информационной среды существования общества привело к неуклонному росту программного обеспечения (ПО), которое разрабатывается в наши дни весьма интенсивно. Рост информатизации приводит к выходу на рынок и программного обеспечения, обладающего некачественными характеристиками: оно не соответствует требованиям, выдвигаемым заказчиками, или же выполняется без должного уровня контроля в ходе разработки. Тестирование компонентов ПО, программ в целом, проводится с целью улучшения качества новых информационных продуктов. Тестирование ПО позволяет обеспечить и улучшить качество новых информационных продуктов, минимизировать те риски, которые связываются с программными сбоями, тем самым защитить репутацию компании-разработчика ПО и удовлетворить запрос пользователя, заказчика определенного программного обеспечения.

Однако современная разработка, базирующаяся на методологии Agile и DevOps, не успевает за темпами происходящих изменений в сфере ПО, что порождает необходимость в том, чтобы создавать новые, более совершенные, автоматизированные и эффективные методы тестирования ПО. В связи с этим растет спрос на автоматизированные, интегрированные и «интеллектуальные» методы тестирования, которые и будут рассмотрены в рамках этой статьи.

Благодаря инновациям возможна поддержка обеспечения качества ПО при условии непрерывности в выпуске новых версий и сжатых сроков, отведенных на разработку. Актуальное ПО представляет собой столь сложные системы, что традиционные способы тестирования их не только неэффективны, но и зачастую вовсе невозможны ввиду большого числа состояний ПО и различных сценариев взаимодействия с ним. Использование современных методов позволяет комплексно подойти к изучению и проверке ПО. Современные методы позволяют быстро тестировать ПО за счет обращения к виртуализации, автоматизации регрессий и контейнеризации, помогая изучить состояние информационного продукта на самом раннем этапе его разработки. А благодаря искусственному интеллекту и применению машинного обучения (AI/ML) тестирование выходит на качественно иной уровень.

Методы

В статье был применен комплекс общенаучных методов исследования, в основе которого – теоретический анализ публикаций по рассматриваемой проблеме. Использовался также и сравнительно-сопоставительный метод, выявляющий специфику методов и инструментов тестирования. Кроме того, в исследовании применен метод обобщения, способствующий формированию комплексности представления о современных методах тестирования ПО.

Сущность тестирования ПО, цель и задачи

Тестирование программного обеспечения является неотъемлемой частью процесса его разработки. Тестирование направлено на то, чтобы проверить и валидировать ПО с точки зрения его функциональных плюсов, производительности, удобства в использовании и безопасности. Тестирование проводится на различных этапах и уровнях разработки, в том числе: в ходе модульного и интеграционного тестирования, системного, приемочного и др. Тестирование как процесс представляет собой обнаружение в программном обеспечении явных и скрытых ошибок. Для того чтобы обнаружить ошибки, или подтвердить их отсутствие, перед тестировщиком стоит цель выбрать такую стратегию изучения информационного продукта, которая позволяла бы в сжатые временные сроки максимально эффективно оценить его качественные характеристики. Для достижения целей тестирования ПО нужно решить следующие задачи:

• подтвердить соответствие функциональным и бизнес-требованиям разработанного ПО;
• обеспечить в рамках программного продукта максимум надежности, безопасности, производительности – в сфере его практического использования заказчиком;
• для принятия взвешенных решений обеспечить своевременность предоставления обратной связи для всех участников проекта о качестве информационного продукта [4, с. 1008].

Новые методы тестирования программного обеспечения

Сегодня программное обеспечение тестируется при помощи различных методов и технологий. А. А. Коледачкин называет, прежде всего, модульное тестирование (исследование отдельных компонентов ПО на наличие ошибок, его обычно проводят программисты при помощи специальных кодов) [1, с. 16]. Затем активно используется интеграционное тестирование (модули объединяются вместе для того, чтобы выявить ошибки между модулями, в их интерфейсах) – выполняется в двух формах: согласно принципу «сверху вниз» или «снизу вверх» – в зависимости от начальной точки тестирования (с верхних или нижних уровней потока), этот метод более популярен у тестировщиков. В дальнейшем проводится системное тестирование, позволяющее проверить на ошибки или сбои всю систему информационного продукта, то есть в том виде, в котором продукт будет использовать его заказчик. Заключительным этапом тестирования проводятся приемочные испытания (альфа- и бета-тестирование) [1, с. 18].

В наше время ставится задача, прежде всего, обращаться при осуществлении тестирования ПО к методам, отличающимся повышенной надежностью. К. Р. Удальцов называет среди таких методы черного и белого ящика, а также автоматизированное тестирование [6, с. 11]. Методы черного ящика реализуются через анализ программы вне учета ее внутренних структурных характеристик, что помогает изучить функциональные возможности ПО – это тестирование эквивалентных классов (изучение вводных данных путем деления их на эквивалентные классы с выбором представителей каждого из них для тестирования: позволяет снизить число тестов при различных сценариях) и тестирование граничных значений (проверка ПО на основе предельных значений вводных данных). К методам белого ящика относятся те, что локализованы внутри структуры программ, позволяя оценить правильность работы ПО на основе его алгоритмов и кода: тестирование покрытия кода (измерение степени покрытия кода тестами, изучение полноты охвата тестами кода ПО) и тестирование путей выполнения (проверяет все возможные пути в программе, за счет этого выявляются ошибки логики ПО) [6, с. 14].

Реализация методов черного и белого ящика все чаще обеспечивается за счет подхода, связанного с автоматизированным тестированием. Автоматизированное тестирование осуществляется за счет скриптов и программных инструментов, созданных для выполнения испытаний ПО. Благодаря методу автоматизированного тестирования становится возможным ускорять процесс испытаний, уменьшая число ошибок человеческого фактора [6, с. 15].

А. К. Попов пишет, что автоматизация тестирования повышает его точность и быстроту диагностики информационного продукта [2, с. 62]. Выделяются такие методы автоматизации, как: функциональное тестирование (программа изучается, исходя из требований функциональности), тестирование интерфейсов (изучаются возможности взаимодействия с приложением самого пользователя), тестирование производительности (изучаются возможности программы в производительности и масштабируемости – как способности к обработке больших объемов информации или выдерживания большой нагрузки). Автоматизация тестирования, чаще всего, выполняется сегодня при помощи следующих инструментов: Selenium, Appium, JUnit, TestNG, Jenkins. Первый инструмент применяется при тестировании веб-приложений, второй – для мобильных приложений, модульное тестирование позволяют проводить JUnit и TestNG. А Jenkins выступает тем «клеем», которым воедино связывается все вместе, этот инструмент позволяет автоматизировать сборку, последующий запуск тестов и развертывание тестирование как единого конвейера. Несмотря на технологические различия, все перечисленные инструменты работают на одну задачу – автоматизацию рутинных процессов тестирования с целью повышения качества ПО [2, с. 64].

По мнению А. В. Русова, оптимальным является обращение к стратегии структурного тестирования [3, с. 626]. Для этого используется метод «прозрачного ящика», позволяя изучить каждый модуль сразу же после его написания – это позволит разработчику сразу исправлять выявленные ошибки, применять инструменты для отладки кодов. Важно, что подобное тестирование – удел не программистов, а специалистов по тестированию в силу того, чтобы выявлялись ошибки с позиции взгляда со стороны, ожидаемых требований заказчика ПО, а не те из ошибок, которые сопровождают сам процесс работы ПО. Подобный подход нивелирует и предвзятость программиста, который может быть избыточно уверен в правильности созданного им кода. Только успешное прохождение всех этапов тестирования позволяет проверить в реальных условиях информационный продукт [3, с. 631].

Отдельно следует упомянуть о таком новом направлении в тестировании ПО, как обращение к возможностям искусственного интеллекта (ИИ) и машинного обучения – это называют революцией сферы программного обеспечения. Новые технологии позволяют решить проблему хрупкости автоматизированных тестов, которым свойственны поломки при малейшем изменении интерфейса. Современные ML-алгоритмы позволяют сделать тестирование «умнее», при этом самостоятельно обучаясь распознаванию критических и допустимых отклонений. Машинное же обучение, как указывает Б. В. Струнин, позволяет осуществлять тестирование на базе рисков, что повышает возможности поиска уязвимостей в системе [5, с. 109]. Параллельно этому ИИ работает над трансформацией кибербезопасности, создавая не только методы защиты, но и новые угрозы (например, генерируя фишинговые атаки). Изменения в тестировании ПО оживляют спрос на специалистов нового профиля – от профессионалов в сфере этики ИИ до экспертов, оптимизирующих контент под потребности чат-ботов. Все это требует от индустрии тестирования ПО активности в освоении новой методологии и информационных технологий.

Заключение

Таким образом, обращение к возможностям современных методов в тестировании ПО выступает стратегическим ответом на вызовы, предъявляемые эпохой цифровизации. Новые методы способны трансформировать тестирование из функции «ручного режима» в активную и неотъемлемую автоматизированную часть процесса разработки надежного, качественного программного обеспечения. Современные методы тестирования работают на стыке смены парадигмы, когда тестировщик и программист движутся от контроля качества ПО в конечном варианте к тому, чтобы активно проектировать информационный продукт на всех этапах его разработки. Сегодня это становится возможным, благодаря трем ключевым факторам: глубине автоматизации (обеспечивает скорость тестирования), ИИ-анализа данных (база для предсказательности) и неразрывности процессов интеграции в ходе разработки (что дает эффективность всей проделанной работе). В результате тестирование выходит за привычные рамки поиска ошибок и скрытых дефектов, становясь лабораторией для конструктивного формирования надежности ПО, что повышает его ценность в условиях цифровизации экономики.

Без поиска и применения новых методов тестирования сегодня представляется невозможным эффективное управление рисками информационных продуктов, соблюдение сжатых сроков их изготовления и удовлетворение потребностей информационного рынка.