Глава 5 - СИСТЕМА ИЗМЕРЕНИЯ ПРОИЗВОДИТЕЛЬНОСТИ И ВРЕМЕНИ ОТКЛИКА   

   

Содержание:

5.1 Определение терминов

5.2 Этапы транзакций, выполняемые эмулируемыми пользователями

5.3 Определение Времени Отклика

5.4 Расчет показателей пропускной способности

5.5 Требования к Интервалу измерений

5.6 Запрашиваемый Отчет

5.7 Главная Система Измерений

 


5.1 Определение терминов

5.1.1 Термин "интервал измерения" подразумевает период устойчивого состояния в течение выполнения теста, для которого лицо, выполняющее тест, сообщает о пропускной способности (см. Пункт 5.5).

5.1.2 Термин «завершенные транзакции» относится ко всем деловым транзакциям (см.пункт 2.1.3), которые были успешно завершены в ТС, их итоговая информация отображена ЭУТ (при выполнении транзакций Новый Заказ, Статус Заказа или Уровень Запасов). При выполнении транзакции Доставка, информация полностью записывается в файл результатов. Транзакции Новый заказ, отмененные в соответствии с пунктом 2.4.1.4, тоже рассматриваются как завершенные транзакции.

5.2 Этапы транзакций, выполняемые эмулируемыми пользователями

5.2.1 Ниже приведен рисунок, который отображает выполняемый каждым пользователем цикл (см. пункт 5.2.2). Активная часть экрана выделена жирным текстом:

5.2.2 Каждый пользователь выполняет цикл, состоящий из экранов, времен ожидания и времени отклика, как представлено ниже:

  1. Выбирает тип транзакции согласно важности (см.пункт 5.2.3).

  2. Ожидает, когда появится экран ввода/вывода.

  3. Измеряет время отклика меню (см. пункт 5.3.3).

  4. По окончании заданного минимального Ключевого Времени (см.пункт 5.2.5.2), вводит в поля ввода необходимые данные (см.пункт 2).

  5. Ожидает, когда на экране ввода/вывода появится необходимое число полей вывода (см.пункт 2).

  6. Измеряет Время отклика транзакции (см.пункт 5.3.4).

  7. Во время отображения экрана ввода/вывода, ожидает заданного минимального значения Времени обдумывания (см.пункт 5.2.5.4).

В конце Времени Обдумывания (стадия 7) пользователь возвращается в начало цикла, чтобы выбрать из меню тип транзакции (стадия 1).

Комментарий: Для того чтобы перейти от 7-й стадии к 1-й, ТС не требуется производить каких-либо действий.

5.2.3 Каждый терминал может выбирать любой тип транзакции (т.е., деловой транзакции) посредством меню. Ниже в таблице указан минимальный процент сочетания для каждого типа транзакций, который должен поддерживаться наполнением терминала во время измерений:

Комментарий 1: Смысл минимального процентного соотношения комбинаций транзакций для каждого из их типов состоит в том, чтобы для каждой транзакции Новый Заказ выполнить приблизительно одну транзакцию Оплата, а для каждой десятой транзакции Новый Заказ – приблизительно по одной транзакции Статус Заказа, Доставка и Уровень Запасов. Эти комбинации транзакций имеют значение при полной обработке каждого заказа.

Комментарий 2: Общее число транзакций, по которому определяется минимальный процент их комбинаций, может вычисляться одним из двух способов:

  • Учитываются все транзакции, выбранные в Меню, и завершенные во время измерений (см.пункт 5.1.2).
  • Учитываются все транзакции, Время отклика которых (см.пункт 5.3.4) было полностью измерено в ЭУТ (англ.RTE ).
Комментарий 3: Подход, описанный в пункте 5.4.2, является преимуществом данного теста, его можно использовать для вычисления процента сочетаний транзакций и данных о пропускной способности.

5.2.4 Управление соотношением транзакций

При поддержании минимального процентного соотношения транзакций на протяжении всего интервала измерений типы транзакций должны выбираться случайно и равномерно. Это должно осуществляться при помощи одной из методик, описанных в пунктах 5.2.4.1 и 5.2.4.2.

5.2.4.1 Важность каждой транзакции указывается в меню. Выбирая каждую новую транзакцию из распределения по важности, мы получаем их требуемое сочетание. При применении данной методики должны выполняться следующие условия:

  1. Важность транзакции выбирается специалистом, проводящим тестирование, и это влияет на выполнение условия о минимальном процентном соотношении комбинаций транзакций (см. пункт 5.2.3).

  2. Для достижения необходимого транзакционного сочетания, ЭУТ может динамически настраивать важность каждого типа транзакции во время измерения. Такое регулирование должно иметь ограничения, чтобы значение не превышало 5% ни в большую, ни в меньшую сторону от своего первоначального показателя.

5.2.4.2 Каждому типу транзакции в Меню принадлежит одна или более карточек. Требуемое сочетание получается путем случайного выбора каждой новой транзакции из картотеки, содержимое которой гарантирует необходимое сочетание. При применении данной техники следует выполнять следующие требования:

  1. В одной картотеке может находиться любое количество терминалов (вероятны случаи, когда в одной картотеке находится один терминал или одна картотека содержит все терминалы).

  2. В картотеке должны находиться один или более наборов из 23 карточек (т.е. 10 карточек Нового заказа, 10 карточек Оплаты, и по 1 карточке Статуса заказа, Доставки и Уровня запасов). Минимальный размер картотеки – один набор на один терминал. Если используется более одной картотеки, тогда все они должны быть одного размера.                                                                                              Комментарий: Генерация максимального процентного соотношения комбинаций для транзакции Новый Заказ может осуществляться при помощи разделения 230 карточек между 10 терминалами.

  3. Каждое обращение к картотеке должно производиться случайным образом. Если обращения к картотеке последовательны, то после полного опустошения картотеки карточки должны быть перемешаны. Если обращения случайны, выбранные карточки не могут быть возвращены в картотеку до полного ее опустошения.

Комментарий: Все терминалы должны выбирать транзакции подобным образом. Достигать лучшего качества или соотношения цена/качество путем другого управления отдельным терминалом не разрешается.

5.2.5 Ограничения Времени ожидания и Времени отклика

5.2.5.1 Этап выбора меню не зависит от транзакции. По крайней мере, для 90% всех опций меню Время Отклика (см. пункт 5.3.3) должно быть менее 2 секунд.

5.2.5.2 Для каждого типа транзакции Ключевое Время неизменно и должно составлять минимум 18 секунд для Нового Заказа, 3 секунды – для Оплаты, и по 2 секунды для Статуса Заказа, Доставки и Уровня Запасов.

5.2.5.3 По крайней мере для 90% всех транзакций одного типа Время Отклика (см. пункт 5.3.4) должно быть менее 5 секунд для Нового Заказа, Оплаты, Статуса Заказа и Доставки, и 20 секунд для Уровня Запасов.

Комментарий: Общее количество транзакций, из которого вычисляется Время Отклика Нового Заказа, включает в себя отмененные транзакции Новый Заказ, указано в требованиях, приведенных в пункте 2.4.1.4.

5.2.5.4 Для каждого типа транзакций Время обдумывания берется независимо из отрицательного экспоненциального распределения. Время обдумывания Tt, вычисляется по следующей формуле:

Tt = -log(r) * 
Где: log = natural log (base e)
Tt = Время обдумывания
r = Случайное число, значение которого равномерно варьируется между 0 и 1
 = среднее Время обдумывания

Каждое распределение может быть усечено на величину, в 10 раз превышающую его среднее значение.

5.2.5.5Начало всех типов времени ожидания (Время определения и Время обдумывания) должно отсчитываться с того момента, как последний символ ввода был выведен на экран (см. пункт 2.2.2).

5.2.5.6 Одна 90ая доля от Времени Отклика для Нового Заказа, Оплаты, Статуса Заказа, Уровня Запасов и интерактивной части транзакций Доставка должна быть больше или равна среднему времени отклика данной транзакции. Если они отличаются менее, чем на 100 мс (0,1 секунды), они считаются равными. Это требование относится только к конечному времени отклика и не применяется к отложенной транзакции Доставка или к этапу выбора меню.

5.2.5.7 Следующая таблица подводит итог ограничений сочетаний транзакции, времени ожидания и времени отклика:

Комментарий 1: Ограничения Времени Отклика установлены таким образом, что пропускная способность системы будет ограничиваться требованиями ко времени отклика транзакции Новый Заказ. С этой целью ограничения Времени Отклика для других транзакций понижены.

Комментарий 2: Ключевые Времена для транзакций выбраны, приблизительно пропорциональными числу введенных знаков, а Время Обдумывания приблизительно пропорциональными числу знаков вывода.

5.2.5.8 Для каждого типа транзакции все конфигурированные терминалы ТС должны использовать одинаково заданное Ключевое Время и одинаково заданное среднее Время Обдумывания. Это время должно соответствовать требованиям, указанным в пункте 5.2.5.7.

5.3 Определение Времени Отклика

5.3.1 Каждая завершенная транзакция, переданная в ТС, должна иметь собственное значение времени.

5.3.2 Время отклика должно измеряться Эмулятором Удаленного Терминала (ЭУТ, англ.Remote Terminal Emulator (RTE)). Время Отклика (RT) определяется по формуле:

RT = T2 - T1
где:
T1 и T2 измеряются ЭУТ, и означают:
T1 = момент времени, когда пользователь вводит последний символ входных данных.
T2 = момент времени, когда терминал вывод на экран последний символ выходных данных.
Интервал между этими событиями должен быть хотя бы 0,1 с.

Комментарий: Цель данного контрольного измерения – определить Время Отклика, поставив себя на место пользователя.

5.3.3 Меню Времени отклика (Menu RT) - это промежуток времени, измеренный с момента ввода последний символа при выборе пункта Меню, и моментом, когда экран ввода/вывода этот символ получил (включая очистку всех полей ввода и вывода и отображение фиксированных полей, см. пункт 2).

Комментарий: Системы, которые не требуют взаимодействия между ТС и ЭУТ при выборе пункта Меню, и экраном допускают незначительную величину Времени отклика меню, а также компоненты, которые обеспечивают реакцию на запросы к Меню (например, банкоматы с экраном) должны быть включены в ТС и, следовательно, иметь установленную цену.

5.3.4 Время отклика транзакции (Transaction RT) – это время от момента, когда последний символ входных данных еще не был отправлен из ЭУТ (См. пункт 2), и до момента времени, когда ЭУТ (см. пункт 2) получил последний символ данных вывода после выполнения транзакции.

Комментарий: Если эмулируемый терминал должен обработать введенные или выведенные на экран данные, то время данной процедуры должно быть определено и взято во внимание при расчете Времени Отклика транзакции.

5.4 Расчет показателей пропускной способности

Сочетание транзакции TPC-C представляет собой полный бизнес-цикл. Оно состоит из множества транзакций, которые вводят новые заказы, уточняют статус существующих заказов, выполняют отложенные заказы, вводят данные об оплате и контролируют уровень запасов на складе.

5.4.1 Величина, показывающая Максимальную качественную пропускную способность (МКПС) - это число заказов, обработанных за одну минуту. Она является мерой "Деловой пропускной способности", а не скоростью выполнения транзакции. Она, безусловно, учитывает все транзакции в сочетании, так как пропускная способность каждой из них контролируется обдуманностью выбора пункта Меню, а минимальный процент сочетания определен в пункте 5.2.3.

5.4.2 Итоговая Максимальная качественная пропускная способность (MQTh) - это число завершенных транзакций Новый Заказ (см. пункт 5.1.2), Время отклика которых (см. пункт 5.3.4) было полностью измерено ЭУТ во время тестирования, поделенного на величину потраченного времени. Отмененные транзакции Новый Заказ, как сказано в пункте 2.4.1.4, должны быть включены в отчет о МКПС.

5.4.3 МКПС тестируемой системы выражается в tpmC (число транзакций в минуту).

5.4.4 Все заявленные значения МКПС должны быть измерены, а не интерполировать или экстраполировать, а затем округлены до целого значения. Предположим, что мы получили 105.548 tpmC во время тестирования 100 терминалов, для которых 90% транзакций Новый Заказ выполнена менее, чем за 4,8 секунды, а во время тестирования 110 терминалов - 117.572 tpmC, для которых 90% транзакций выполнены менее, чем за 5,2 секунд. Тогда tpmC равна 105.

5.4.5 Чтобы быть точным, интервал измерения должен содержать не более 1% или не более одной транзакции Доставка, пропущенной из-за того, что в таблице Новый Заказ число заказов было менее необходимого.

5.5 Требования к Интервалу измерений

5.5.1 Устойчивое состояние

5.5.1.1 Тест должен проводиться при установившемся режиме, который дает установившееся значение пропускной способности ТС.

5.5.1.2 Несмотря на то, что измерения могут длиться менее 120 минут, необходимо настроит ТС таким образом, чтобы иметь возможность проводить тестирование при заявленной tpmC в течение, по крайней мере, 8 часов без вмешательства оператора, придерживаясь, таким образом, свойств ACID. Например, носители информации, используемые для хранения логов о 8 часах измерения, должны быть настроены таким образом, чтобы можно было восстановить эти данные после любого сбоя системы при тестировании (см.пункт 3.5.3.1).

Комментарий 1: Примером конфигурации, которая не соответствовала бы требованиям, может быть такая, у которой лог-файл был бы размещен так, что наилучшая производительность достигалась во время проведения непосредственного тестирования, а не во время периода восьмичасового ожидания. Это может быть, например, из-за того, что изначально использовалось бы некое выделенное устройство, а затем, во время 8 часового ожидания – место на другом носителе информации.

Комментарий 2: Легко определить, что состояние устойчиво (например, при стабильной пропускной способности), но это тяжело доказать. Лицо, проводящее тестирование, или аудитор, должно занести в отчет данные о методе, использовавшемся для проверки пропускной способности устойчивого состояния. Аудитора имеет право использовать все доступные инструменты мониторинга для определения устойчивости состояния.

Комментарий 3: Некоторые аспекты реализации могут привести к систематическим, хотя и незначительным, колебаниям пропускной способности на протяжении восьмичасового периода. Совокупное влияние таких колебаний может достигать 2% от заявленной величины. Для восьмичасовой операции не существует никаких требований.

5.5.1.3 В случае, когда для достижения устойчивого состояния используется постепенный выход на рабочий режим, требуется, чтобы база данных изначально заполнялась надлежащим образом. Как во время выхода на рабочий режим, так и во время устойчивого состояния необходимо соблюдать сочетание определенных транзакций и требования, описанные в пункте 5.2.5.7.

Комментарий: Цель данного параграфа состоит в том, чтобы предотвратить значительные изменения содержания изначально надлежащим образом заполненной базы данных во время выхода на рабочий режим.

5.5.1.4 Для демонстрации повторяемости результатов нет необходимости в проведении дополнительных измерений.

5.5.1.5 Несмотря на то, что нестабильность допускается, для генерации входных данных, отличных от описанных в пунктах 2.4.1, 2.5.1, 2.6.1, 2.7.1, и 2.8.1 требований, RTE не может быть оценено безупречно. Чтобы быть точным, входные данные, сгенерированные во время измерений, не должны достигать следующих отклонений:

  1. В результате использования недопустимого значения номера товара, транзакции Новый Заказ должны отменяться в диапазоне от 0,9% до 1,1%

  2. Среднее число позиций в каждом заказе должно находиться в пределах от 9,5 до 10,5. Количество позиций на каждый заказ должно равномерно распределяться от 5 до 15 для транзакций Новый Заказ, которые были переданы в ТС во время измерения.

  3. Количество удаленных позиций в заказе должно быть равно, по крайней мере, 0,95% и не более 1,05% от общего числа позиций, заполненных во время выполнения транзакций Новый Заказ, переданных в свою очередь в ТС во время измерений.

  4. Количество удаленных транзакций Оплата должно быть хотя бы 14% и составлять не более 16% от всего количества транзакций Оплата, переданных в ТС во время измерений.

  5. Число выборов клиентов по фамилиям в транзакции Оплаты должно составлять хотя бы 57% и не более 63% от общего числа транзакций Оплаты, которые были переданы в ТС во время измерений.

  6. Количество отборов клиентов по их фамилии в транзакции Статус Заказа должно составлять хотя бы 57% и не больше 63% от общего числа транзакций Статус Заказа, переданных в ТС во время измерений.

5.5.1.6 Чтобы быть точным, интервал измерения должен содержать не более 1% или более одной, что уже много, транзакций Доставка, пропущенных из-за того, что число заказов в таблице Новый Заказ меньше, чем это необходимо.

5.5.2 Длительность

5.5.2.1 Интервал измерений должен:

  1. Начинаться после достижения системой устойчивого состояния.

  2. Быть достаточно длительным, чтобы сгенерировать повторяемые значения пропускной способности, являющиеся показателями производительности, которых можно было бы достичь во время проведения восьмичасовой части измерений.

  3. Непрерывно продолжаться как минимум 120 минут.

5.5.2.2 Сразу после внесения изменений некоторые системы не сохраняют измененные записи/страницы базы данных на отказоустойчивый носитель информации, наоборот, откладывают сохранение. В определенное время измененные записи/страницы сохраняются, создавая, таким образом, текущую копию. Этот момент определяется как контрольная точка в документе.
Для систем, которые откладывают запись базы данных, существует требование:

  1. Время между контрольными точками (известное как, интервал между контрольными точками ИМКТ) не должно превышать 30 минут. Длительность Контрольной точки – время, необходимое СУБД для сохранения измененных записей/страниц базы данных на надежный носитель, должно быть меньше или равно Интервалу между контрольными точками.                                                                     Комментарий: Системы, которые восстанавливаются после сбоя путем применения специально сохраненной на отказоустойчивом носителе информации (система базы данных, которая не использует контрольные точки), соблюдают правило, запрещающее использовать такую информацию, если со времени её формирования прошло более 30 минут с момента сбоя в системе. Следствие данного требования: содержимое базы данных, хранимое на надежном носителе, не может быть старше текущего состояния базы данных более, чем на 30 минут (±5%).

  2. Требуется создавать контрольной точки хотя бы один раз до, один раз во время Устойчивого состояния, и, по крайней мере, четыре раза в течение интервала измерений. Время начала и длительность в секундах, по крайней мере, четырех самых длинных контрольных точек должны быть приведены в отчете.

5.6 Запрашиваемый Отчет

5.6.1 Для каждого, из пяти типов транзакций (например, Новый Заказ, Оплата, Статус Заказа, Доставка и Уровень Запасов), частота распределения времен отклика всех транзакций, начатых и завершенных за определенное время, должна быть представлена в отчете. На графике ось х представляет Время отклика транзакции, и она должна начинаться от нуля, и заканчиваться значением, 4 раза превышающим 90ю процентиль Времени Отклика для данной транзакции. Ось у представляет частоту транзакций за данное Время отклика. По крайней мере, в отчете должны быть представлены 20 различных интервалов равной величины. Максимальное значение, среднее значение, и 90я процентиль Времени отклика также должны быть указаны в отчете. Ниже показан пример такого графика.

5.6.2 В отчете должен быть представлен график зависимости Времени отклика от пропускной способности транзакции Новый Заказ, запущенной в рамках сочетания транзакций, требуемых пунктом 5.2.3. Ось х показывает измеренную пропускную способность транзакции Новый Заказ. Ось у показывает значение, соответствующее 90-й процентили Времени Отклика. График должен быть построен по значениям 50%, 80% и 100% заявленного уровня пропускной способности (дополнительные значения не обязательны). Значения для 50% и 80% должны быть измерены при тех же условиях, что и для 100%, с интервалом в, как минимум, 20 минут, варьируя при этом либо Время обдумывания одного или более типов транзакций, или число активных терминалов. Далее по этим значениям проводится интерполяция. Для требуемых сочетаний транзакций допускаются отклонения для точек 50% и 80%. Ниже приведен пример такого графика.

5.6.3 В отчет должны быть выведены данные о частотном распределении Времени реакции транзакции Новый Заказа, запущенной и выполненной в пределах определенного измерения. Ось х отображает Время реакции и должна начинаться с нуля и заканчиваться значением, в 4 раза превышающим среднее значения Времени реакции данной транзакции. Ось у отображает частоту транзакций за данное Время реакции. По крайне мере данные о 20 интервалах равной длины должны присутствовать в отчете. Ниже приведен пример такого графика.

5.6.4 В отчет должен быть выведен график зависимости пропускной способности транзакции Новый Заказ от затраченного времени как для выхода на рабочий режим, так и для интервала измерений. Ось х отображает затраченное время с момента запуска. Ось у отображает пропускную способность в tpmC. Необходимо использовать, по крайней мере, 240 различных интервалов с максимальной продолжительностью в 30 секунд. Начало и конец измерений должны быть указаны на графике. Ниже приведен пример такого графика.

5.7 Главная Система Измерений

5.7.1 Чтобы соответствовать стандарту TPC-C и Правилам добросовестного использования материала и инструкции TPC (TPC’s Fair Use Policies and Guidelines), все публичные ссылки на TPC-C результаты для определенной конфигураций должны включать компоненты, приведенные ниже. Эти компоненты известны, как Главные Метрики.

  • Максимальная качественная пропускная способность TPC-C измеряется в tpmC. Она известна, как Метрика Производительности (см. пункт 5.4.)

  • Общая ТРС-С 3-х летняя тарификация, разделенная на величину МКПС и выраженная отношением цена/tpmC. Данная величина известна как метрика "Цена/Производительность" (Price/Performance metric). (См. пункт 7.3.)

  • Дата, когда все необходимые для достижения установленной производительности программы станут доступны (обозначается, как единственная). Известна, как Дата Доступности (см. пункт 8.1.8.3.)

Статья: Глава 5 - СИСТЕМА ИЗМЕРЕНИЯ ПРОИЗВОДИТЕЛЬНОСТИ И ВРЕМЕНИ ОТКЛИКА

Перейти на главную страницу компании "Софтпоинт"