Exploratory Testing: Три Истории Применения Тест-дизайна
Исследовательское тестирование позволяет быстрее найти важные дефекты, поскольку не ограничено алгоритмом конкретных действий. Оно позволяет повысить уровень покрытия и сосредоточиться на тестировании по методу “что, если”. Каждая из этих техник имеет свои преимущества и недостатки, и выбор зависит от конкретных потребностей и характеристик тестируемого приложения. Комбинирование разных техник исследовательского тестирования может быть наиболее эффективным способом обнаружения дефектов и улучшения качества программного продукта. Путем изменения уровней доступа и ролей пользователей тестировщики могут проверить, как приложение управляет доступом к различным функциональным частям.
Этот подход имеет элементы классического управления рисками проекта и продукта, а его успех зависит от качественного анализа (см. первые три шага). В общем и целом, жаловаться мне было не на что, за исключением создания тестов для сложного функционала. Для проверки функционала предупреждения об удаленных/несуществующих файлах я открывал их в программе, удалял на локальной машине, а затем сохранял (см. фото тестовой сборки). » описывает простую, но эффективную пошаговую технику тест-дизайна — C.R.U.D. (Create, Read, Update, Delete). Обычно она применяется для проверки различных элементов в реляционных базах данных со структурой parent-child. Я применил этот подход для тестирования GUI вышеупомянутых станков, в которых использовались файлы с такой же структурой.
Результат Анализа Поведения Тест-объекта
По мере усложнения программного обеспечения возрастает вероятность появления ошибок; это может потребовать более тщательного тестирования. Команда должна активно работать, чтобы выяснить, какие компоненты нуждаются в дополнительной помощи. Хотя исследовательское тестирование – это стоящая инвестиция, а премиум-приложения что такое исследовательское тестирование обычно предлагают более широкие функциональные возможности, существует множество бесплатных вариантов, предоставляющих более чем достаточно функций. Azure Test Plans является ключевой частью платформы Azure от Microsoft и позволяет тестировщикам собирать богатые данные по многим сценариям.
По книге Канера «Testing Computer Software», исследовательское тестирование — «это просто более вдумчивый подход к ad-hoc-тестированию». Таким образом, глубокое тестирование ускоряет документирование, облегчает модульное тестирование и помогает создать мгновенный цикл обратной связи. По словам Джеймса Баха, соучредителя контекстного подхода к тестированию ПО, «глубокое тестирование способствует развитию научного мышления в режиме реального времени». В разработке программного обеспечения исследовательское тестирование проводится для преодоления ограничений сценарного тестирования.
Ручное исследовательское тестирование позволяет проводить более широкий спектр специальных проверок. Хотя это может занять больше времени из-за того, что человеческие тестеры медленнее компьютеров, ручная проверка может сыграть важную роль в определении пользовательского опыта. Активные тесты имеют более широкий охват, не жертвуя специфичностью торговой марки исследовательских проверок. Эти сценарии также позволяют улучшить документацию, что облегчает воспроизведение любых проблем, обнаруженных тестировщиками.
Они также могут отвечать за приобретение программного обеспечения для команд, которое может упростить или даже автоматизировать тесты. Например, в прошлой версии системы управления больницей модуль отчетов зависал и выдавал ошибки, и возможно есть смысл сейчас протестировать его в первую очередь. Опыт решения проблем, замеченных в других продуктах и прошлых версиях этого продукта, поможет предугадать модули, в которых, скорее всего, будет много дефектов. Во многих программных циклах требуется ранняя итерация, когда у команд мало времени для структурирования тестов. Такой подход обычно занимает больше времени, чем сценарное тестирование, в дополнение к которому он идет.
Взаимодействие между участниками может привести к обнаружению различных дефектов и идей для улучшения продукта. На новом проекте (речь о нем пойдет подробнее в третьей истории), куда я пришел на замену выбывшего тестировщика, было три уровня тестирования, с тремя командами и тестовыми кампаниями. Я стал членом третьей команды, которая занималась регрессионным и smoke-тестированием еженедельных релизов и их хотфиксов. Scrum или другой Agile-метод так популярен не потому, что он хорош, а потому, что предсказуем.
– Доступные инструменты, например, бесплатное программное обеспечение для автоматизации тестов. Если вы сами распределяете эти пары, обязательно учитывайте сильные и слабые стороны каждого тестировщика, так как это позволит вам построить более эффективные процессы исследовательского тестирования. Пассивное тестирование предоставляет как тестировщикам, так и команде разработчиков множество подробной информации о том, как функционирует программное обеспечение. После разработки используемых проверок, тестировщики теперь могут проверять приложение теми способами, которые они считают наиболее эффективными – они могут проводить их сразу после разработки конкретной проверки. – Разработчики программного обеспечения, которые признают результаты этих тестов, примут во внимание любые предложения и часто разрабатывают собственное решение проблемы. Исследовательское тестирование полезно практически в любом процессе тестирования программного обеспечения, однако оно особенно эффективно для получения быстрой обратной связи о приложении.
- Ручное исследовательское тестирование позволяет проводить более широкий спектр специальных проверок.
- Автоматизированное разведочное тестирование усугубляет эту экономию, помогая компаниям проверять последние итерации своих приложений гораздо быстрее, потенциально за одну ночь.
- Посетите Atlassian Marketplace, чтобы узнать больше о приложениях для управления тестированием.
- Я стал членом третьей команды, которая занималась регрессионным и smoke-тестированием еженедельных релизов и их хотфиксов.
- Парное разведочное тестирование упрощает и подтверждает этап обеспечения качества, позволяя тестировщикам работать с абсолютной уверенностью в каждой проверке.
Исследовательское тестирование имеет четкие цели и границы, но при этом позволяет членам команды использовать творческие тесты. Специальные тесты обычно не имеют определенных конечных целей, кроме как подтолкнуть программное обеспечение https://deveducation.com/ к тому, что оно может. Специальное тестирование часто также предполагает предварительное знание программного обеспечения и его функций, в то время как исследовательское тестирование включает изучение приложения в свои обычные процессы.
Это также означает, что тесты должны быть адекватно распределены по функциям программного обеспечения. Ручное разведочное тестирование по-прежнему дает много преимуществ в сочетании с Agile благодаря своей способности выявлять проблемы, которые автоматизированный подход может пропустить. Другие формы тестирования просто занимают слишком много времени или дают слишком мало преимуществ, чтобы комфортно вписаться в рамки Agile. Исследовательские проверки позволяют убедиться, что каждый этап Agile значительно улучшает программное обеспечение и его функциональность. Исследовательские тесты используют большее разнообразие формальных методов тестирования, в то время как специальные проверки позволяют избежать этого, выходя за рамки обычного тестового этикета.
Хотя точные параметры (например, время для каждого теста или общая сессия) зависят от предпочтений команды и требований проекта, все исследовательские исследования имеют некоторые общие черты. Исследовательское тестирование направлено на разработку новых и креативных тестов, которые могут выявить проблемы в приложении. Это могут сделать даже тестировщики с ограниченным опытом, при условии, что они понимают программное обеспечение.
Для Чего Нужно Глубокое Тестирование?
При тестировании, основанном на соответствии требованиям, где по юридическим причинам должны соблюдаться определенные контрольные списки и принципы, рекомендуется придерживаться тестирования по сценариям. Одним из таких примеров является тестирование доступности, при котором протокол тестирования регулируется несколькими законами, а также существуют определенные стандарты. Организации должны уметь найти правильный баланс между глубоким тестированием и тестированием по сценариям. Одно лишь глубокое тестирование не может обеспечить достаточное покрытие тестами. Команды не должны его применять, если не достигли нескольких первоначальных контрольных точек.
Это позволяет плавно переходить от одного уровня сложности к другому, давая испытателям возможность понять программное обеспечение. Для достижения наилучших результатов очень важно, чтобы группа тестирования договорилась о том, кто из ее членов будет проводить каждый тест, исходя из их соответствующих навыков и сильных сторон. Компании с небольшими командами могут извлечь наибольшую пользу из бесплатных инструментов тестирования, поскольку многие из них бесплатны для ограниченного числа пользователей. Платное решение может быть единственным способом удовлетворить потребности данного проекта; команда должна изучить различные варианты, прежде чем принять решение о выборе приложения. ZAPTEST Free предоставляет функциональность премиум-уровня по абсолютно нулевой цене, позволяя любой организации воспользоваться преимуществами простого внедрения исследовательского тестирования.
Определение и оптимизация этого делает программное обеспечение более отзывчивым для персонала и пользователей. Приложения и системы всех видов могут извлечь пользу из исследовательского тестирования. В системах управления больницей тестировщик может обратить внимание на то, как платежный модуль взаимодействует с другими функциями. Исследовательские тестировщики тщательно проверяют игру и ее многочисленные сложные сценарии, чтобы убедиться, что каждая функция работает так, как задумано; для этого процесса обычно требуется ручной тестировщик. Работа нескольких человек над одними и теми же тестами может привести к повышению точности всех тестов, а разделение нагрузки также помогает ускорить тестирование для всей команды. Выработка согласованной стратегии имеет первостепенное значение для любой успешной автоматизации; разработчики, тестировщики и даже руководители проектов должны быть на одной волне на протяжении всего тестирования.
Автоматизация исследовательского тестирования лишена человеческой оценки и может лучше всего работать вместе с ручным тестировщиком для некоторых проверок. Это включает в себя пользовательский опыт, хотя в зависимости от выбранного вами программного обеспечения можно получить тщательную аналитику производительности и нагрузочного тестирования с помощью автоматизации. Автоматизировать каждую проверку при тестировании приложения нецелесообразно и неразумно, потому что есть некоторые аспекты, по которым только ручной тестировщик может достоверно дать обратную связь.
Этот вариант подходит как для настольных, так и для веб-приложений, обеспечивая при этом сквозную прослеживаемость, которая имеет четкую запись о разработке программного обеспечения. Команда тестировщиков должна взять на себя обязательство обеспечить качественное ведение записей в ходе каждой проверки, предоставляя как можно больше подробностей в каждом отчете. Не всегда очевидно, какие действия способствуют сбою теста; также может быть неясно, какие аспекты приложения виноваты в этом.
Не имея четкого направления для своих проверок программного обеспечения, исследовательское тестирование может помочь обнаружить проблемы, которые выходят за рамки стандартных проверок. При тестировании критически важных приложений глубокое тестирование гарантирует, что вы не пропустите пограничные случаи, которые приводят к критическим ошибкам качества. Кроме того, глубокое тестирование позволяет облегчить процесс модульного тестирования, задокументировать этапы и использовать эту информацию для широкого тестирования во время следующих спринтов. Глубокое тестирование подходит для конкретных сценариев тестирования, например когда кому-то нужно быстро узнать о продукте или приложении и предоставить обратную связь.
Им не нужно выполнять текущую серию тестов по сценариям, прежде чем сосредоточиться или перейти к исследованию более целевой среды. Документация исследовательского тестирования варьируется от документирования всех выполненных тестов до простого документирования ошибок . Во время парного тестирования два человека вместе создают тестовые примеры; один их выполняет, а другой документирует. Сессионное тестирование – это метод, специально разработанный для обеспечения возможности аудита и измерения исследовательского тестирования в более широком масштабе.
Во-первых, проблему могли предотвратить инженеры бэкенда, если бы дали доступ тестировщикам к документации о взаимодействии различных элементов архитектуры сервиса и назначили созвоны с ними в случае возникновения вопросов. Однако для создания негативных тестов я редактировал тестовый файл, заменяя параметры нужного типа на неприемлемые, например, int вместо double. Подготовка выглядит так же, как подготовка к путешествию, то есть нужно определить, что взять с собой. Например, если человек едет на выходные в европейскую столицу, то набор вещей для горного похода, скорее всего, не пригодится. Возможно, даже изучать будет особо нечего, потому что на длинную прогулку с заходом во все дворы нет времени, а Эйфелева башня уже достаточно изучена. Таким образом можно, например, не брать большой фотоаппарат, зато взять флягу и сфокусироваться на одном конкретном районе.
Автоматизация обычно включает в себя выбор стороннего приложения, совместимого с целями команды по тестированию. Это может оказаться значительным долгосрочным расходом, даже если программное обеспечение успешно выполняет автоматизированные тесты и обеспечивает значительную ценность. Автоматизация оптимизирует практически каждый этап процесса разведочного тестирования, легко настраивается в различных конфигурациях программного обеспечения. Человеческий фактор может легко привести к ошибкам в тестировании, исправление которых требует времени и денег; автоматизированные исследовательские проверки позволяют командам тестирования обойти эту проблему. Ручное разведочное тестирование часто сопряжено с рядом трудностей, но все же является жизненно важным компонентом тщательного тестирования программного обеспечения. Это связано с тем, что существуют аспекты программного обеспечения, которые автоматизация не может полностью учесть и которые также требуют пристального внимания.
Это может определить направление тестирования, а также потенциальный успех программного обеспечения при запуске. Команды должны работать вместе, чтобы определить объем и график предстоящих процедур. Это справедливо для любого процесса тестирования, но особенно важно в связи с дополнительными сложностями автоматизации. Улучшенные линии связи и отсутствие информационных силосов позволят вашим командам проводить тесты более эффективно. Автоматизация выявляет проблемы, но команды тестирования и разработки несут ответственность за их устранение. Важно определить всеобъемлющую стратегию автоматизации, чтобы каждый участник проекта понимал ее возможности и ограничения.