Отчет о результатах тестирования программных продуктов

Отчет о результатах тестирования

Отчёт о результатах тестирования — документ, обобщающий результаты работ по тестированию и

содержащий информацию, достаточную для соотнесения текущей ситуации с тест-планом и принятия необходимых управленческих решений.

К задачам отчётности в тестировании относятся:

• оценка объёма и качества выполненных работ;
• сравнение текущего прогресса с тест-планом (в том числе с помощью анализа значений метрик);
• описание имеющихся сложностей и формирование рекомендаций по их устранению;
• предоставление лицам, заинтересованным в проекте, полной и объективной информации о текущем состоянии качества проекта, выраженной в конкретных фактах и числах.

Отчёт о результатах тестирования обладает свойствами качественных требований, а также должен обладать информативностью, точностью и объективностью.

Информативность - после прочтения отчёта не должно оставаться никаких открытых вопросов о том, что происходит с проектом в контексте качества).

Точность и объективность - ни при каких условиях в отчёте не допускается искажение фактов, а личные мнения должны быть подкреплены твёрдыми обоснованиями).

Отчёт о результатах тестирования создаётся по заранее разработанному расписанию (зависящему от модели управления проектом) при участии большинства представителей проектной команды, задействованных в обеспечении качества.

Данные для отчёта берутсяиз системы управления проектом.

Ответственным за создание отчёта является ведущий тестировщик («тест-лид»). При необходимости отчёт может обсуждаться на небольших собраниях.

Отчёт о результатах тестирования необходим следующим лицам:

• менеджеру проекта — как источник информации о текущей ситуации и основа для принятия управленческих решений;
• руководителю команды разработчиков — как дополнительный объективный взгляд на происходящее на проекте;
• руководителю команды тестировщиков — как способ структурировать собственные мысли и собрать необходимый материал для обращения к менеджеру проекта по возникшим вопросам, если в этом есть необ-ходимость;
• заказчику — как наиболее объективный источник информации о том, что происходит на проекте, за который он платит свои деньги.

В общем случае отчёт о результатах тестирования включает следующие разделы

Краткое описание . В предельно краткой форме отражает

основные достижения, проблемы, выводы и

рекомендации.

Команда тестировщиков . Список участников проектной команды, задействованных в обеспечении качества, с указанием их должностей и ролей в подотчётный период.

Описание процесса тестирования . Последовательное описание того, какие работы были выполнены за подотчётный период.

Расписание . Детализированное расписание работы команды тестировщиков и/или личные расписания участников команды.

Статистика по новым дефектам . Таблица, в которой

представлены данные по обнаруженным за подотчётный

период дефектам (с классификацией по стадии жизненного цикла и важности).

Список новых дефектов. Список обнаруженных за подотчётный период дефектов с их краткими описаниями и важностью.

Статистика по всем дефектам. Таблица, в которой

представлены данные по обнаруженным за всё время существования проекта дефектам (с классификацией по стадии жизненного цикла и важности).

Как правило, в этот же раздел добавляется график, отражающий такие статистические данные.

Рекомендации . Обоснованные выводы и рекомендации

по принятию тех или иных управленческих решений (изменению тест-плана, запросу или освобождению ресурсов и т.д.). Здесь этой информации можно

отвести больше места, чем в кратком описании.

Приложения. Фактические данные (как правило, значения метрик и графическое представление их изменения во времени).

Пример отчёта о результатах тестирования

• Краткое описание .

За период 26–28 мая было выпущено четыре билда (Билд - версия, сборка), на последнем из которых успешно прошло 100 % тест-кейсов дымового тестирования и 76 % тест-кейсов тестирования критического пути. 98 % требований высокой важности реализовано корректно. Метрики качества находятся в зелёной зоне, потому есть все основания рассчитывать на завершение проекта в срок (на текущий момент реальный прогресс в точности соответствует плану). На следующую итерацию (29 мая) запланировано выполнение оставшихся низкоприоритетных тест-кейсов.

Команда тестировщиков

Имя Должность Роль

Петров А.А. Тестировщик Ответственный за обеспече-

ние качества

СидоровН.И. Старший Ответственный за парное

разработчик тестирование и аудит кода

Описание процесса тестирования

Каждый из четырёх выпущенных за подотчётный период билдов (3–6) был протестирован под ОС Windows 7 Ent x64 и ОС Linux Ubuntu 14 LTS x64 в среде исполнения PHP 5.6.0.

Дымовое тестирование выполнялось с использованием автоматизации на основе командных файлов.

Тестирование критического пути выполнялось вручную.

Регрессионное тестирование показало высокую стабильность функциональности (обнаружен только один дефект с важностью «средняя»), а повторное тестирование показало ощутимый прирост качества (исправлено 83 % обнаруженных ранее дефектов).

Расписание

Имя Дата Деятельность Продолжительность,

в часах

Петров А.А. 27.05.2015 Разработка тест-кейсов 2

Петров А.А. 27.05.2015 Парное тестирование 2

Петров А.А. 27.05.2015 Автоматизация дымового 1

тестирования

Петров А.А. 27.05.2015 Написание отчётов о дефектах 2

СидоровН.И.27.05.2015 Аудит кода 1

СидоровН.И.27.05.2015 Парное тестирование 2

Петров А.А. 28.05.2015 Разработка тест-кейсов 3

Петров А.А. 28.05.2015 Парное тестирование 1

Петров А.А. 28.05.2015 Написание отчётов о дефектах 2

Петров А.А. 28.05.2015 Написание отчёта о результатах

тестирования 1

СидоровН.И. 28.05.2015 Аудит кода 1

СидоровН.И.28.05.2015 Парное тестирование 1

Статистика по новым дефектам

Статус

Количество

Найдено

Важность

Низкая Средняя Высокая Критичес

кая

23

Исправлено

17

2

Проверено

0

13

12

Открыто за-

ново

9

7

0

1

Отклонено

2

6

5

0

3

6

2

0

0

2

1

2

0

1

0

Список новых дефектов

Идентификатор

Важность

BR 21

Описание

Высокая

BR 22

Приложение не различает

файлы и символические

ссылки на файлы.

Критическая

И так далее — описание всех 23 найденных дефектов.

Приложение игнорирует файлы

.md во входном каталоге .

Статистика по всем дефектам

Статус

Количество

Найдено

Важность

Низкая Средняя Высокая Критичес

кая

34

Исправлено

25

5

Проверено

3

17

18

Открыто за-

ново

12

8

0

1

Отклонено

3

7

7

0

4

7

3

0

0

3

1

3

0

1

0

Статистика по всем дефектам

Приложение. График изменений значений метрик