Решение для автоматизации сбора статистики выполнения программ.
Позволяет производить анализ работы программ и упрощает сравнение эффективности различных версий.
Для переключения режима работы используется переключатель в верхнем левом углу окна.
С помощью кнопок "Добавить исполняемые файлы", "Добавить файлы программ" можно добавлять исполняемые файлы и файлы с кодом программ, соответственно. С помощью кнопок "Очистить" - очищать списки.
Файлы с кодом программ будут указаны в качестве первого позиционного аргумента командной строки при запуске исполняемого файла.
В средней части интерфейса находятся элементы для задания наборов параметров запуска программ и значений, используемых для проверки корректности результата выполнения тестируемой программы.
С помощью функции "заменить слово на диапазон" можно быстро генерировать требуемые наборы параметров запуска.
С помощью кнопки верхнего меню можно задать алгоритм проверки результата выполнения тестируемых программ.
Алгоритм задаётся при помощи C# кода. Если код некорректен, будет выведено сообщение с описанием проблемы.
По умолчанию предлагается проверка, что вывод не содержит слова "Error" и содержит значение, указанное в таблице.
- Решение позволяет предотвращать сбор некорректной статистики вследствие исчерпания тестируемой программой ресурса оперативной памяти.
- Позволяет ограничить максимальное время выполнения программы (если указан 0 - не ограничено).
- Позволяет выполнять запуск программы с заданным набором параметров, пока не будет достигнута требуемая точность значения времени выполнения (если указан 0 - выполнять пока не будет достигнут указанный лимит запусков).
- Позволяет ограничить максимальное количество запусков тестируемой программы с одним набором параметров.
В нижней части окна находятся кнопки для запуска и прерывания процесса сбора статистики.
А также информационная панель, на которую выводится прогресс сбора статистики, использование программой процессорного времени и оперативной памяти, номер набора данных, номер итерация и имя выполняемой в данный момент программы.
Решение позволяет сохранять и загружать конфигурации тестирования.
При запуске решения загружается конфигурация, которая использовалась на момент окончания прошлого использования решения.
После завершения процесса сбора статистики будет открыта папка с собранной статистикой.
- В файле "Results" собирается общая статистика выполнения программ (берётся среднее значение времени и худшее значение используемой памяти из результатов всех итераций программы с данным набором данных).
- В папке "Logs" сохраняется вывод программ (отдельный файл на каждую программу, различные параметры и итерации заметно выделяются в файле).
- В папке "Profiller" сохраняются файлы со значениями используемых тестируемой программой ресурсов в разные моменты времени её работы (на каждую программу, набор данных и итерацию свой файл)
- В файле "System-Info" приводятся некоторые характеристики системы, на которой производится тестирование.
