Глава 9 - АУДИТ   

   

Содержание:

9.1 Общие правила
9.2 Аудиторская анкета

 


9.1 Общие правила

9.1.1 Согласно требованиям TPC, необходимо провести независимый аудит результатов теста. Аудиторская проверка является частью данной инструкции. Нужно получить аудиторскую анкету у одного из аудиторов. Термин «независимый» имеет следующее определение: «результат данного теста не имеет другой финансовой выгоды для агентства по оказанию аудиторских услуг, кроме гонорара за услуги по аудиторской проверке». К тому же подобное агентство не может оказывать никаких других услуг, кроме консультации «аудит теста», выполняющегося на основании контракта. Термин «сертифицированный» имеет следующее определение: TPC проверило квалификацию аудитора и подтверждает, что он может удостоверять верность результатов теста». Для понимания процесса лицензирования следует посмотреть Правила аудита. Кроме того, необходимо соблюдать следующие условия:

  1. Аудиторское агентство не может быть финансово связано с организатором. Финансовая связь может быть только при условии, что большинство акций аудиторского агентства, принадлежит организатору.

  2. Аудиторское агентство не может быть финансово связано ни с одним из поставщиков измеренных/оцененных компонентов, т.е. с поставщиками СУБД, поставщиками терминалов или концентраторов.

9.1.2 Требуется, чтобы аудиторская лицензия могла быть опубликована в любой момент, как часть Отчета о Полном Раскрытии Деталей Тестирования, но детального отчета от аудитора не требуется.

9.1.3 Для целей проведения аудита используются только транзакции, сгенерированные Драйверной системой, а также данные, связанные с этими транзакциями, за исключением проверки изначального заполнения базы данных.

9.1.4 В случае проведения аудиторской проверки результатов теста TPC-C, которые используются в качестве основы для новых результатов TPC-C, организатор нового теста может утверждать о проведении аудита при следующих условиях:

  1. Аудитор утверждает, что программное и аппаратное обеспечение и не заменялись.

  2. Аудитор проверяет Отчета о Полном Раскрытии Деталей Тестирования с новыми результатами и подтверждает, что они соответствуют тому, что содержалось в оригинальном ПО организатора.

  3. Аудитор может подтвердить то, что от него требуется в пункте 9.2.8.

Аудитор не обязан выполнять любое из перечисленных ниже условий по аудиторской анкете из пункта 9.2.

9.2 Аудиторская анкета

9.2.1 Пункт 1 Вопросы, связанные с Построением логики базы данных

9.2.1.1 Удостоверьтесь, что указанные свойства (т.е. столбцы) и ряды существуют, и они соответствуют описанию.

9.2.1.2 Проверьте, чтобы идентификаторы рядов не были диском или разделом файла.

9.2.1.3 Удостоверьтесь, что для всех таблиц поддерживается функция вырезания, внесения и удаления данных.

9.2.1.4 Удостоверьтесь, что данные ввода в систему во время проведения теста случайны для всех транзакций. Проверьте также однородность сгенерированных цен, необходимых для поддержки заявленного значения tpmC (см. пункт 5.4), по всем строкам сконфигурированной базы данных.

9.2.1.5 Проверьте наличие горизонтального или вертикального разбиения и, если такие обнаружены, то соответствует ли оно правилам разбиения TPC-C .

9.2.1.6 Проверьте наличие дубликатов таблиц и, если таковые обнаружены, соответствуют ли они правилам TPC-C.

9.2.1.7 Удостоверьтесь, что не более 1% или не более одной транзакции Доставки были пропущены в следствии предоставления меньших заказов в таблице НОВЫЙ ЗАКАЗ

9.2.2 Пункт 2 Вопросы, связанные с транзакциями и профилями транзакций

9.2.2.1 Убедитесь, что приложения подходят соответствующим профилям транзакций .

9.2.2.2 Убедитесь, что данные ввода удовлетворяют требованиям и внешний вид экрана ввода/вывода сохранен.

9.2.2.3 Проверьте соответствие требованиям об обнаружении ошибки и предоставлении информации по ней, как указано в пункте 2.3.6.

Комментарий: Это можно проверить путем инспектирования кода по желанию аудитора.

9.2.2.4 Проверьте, чтобы каждая транзакция Новый Заказ использовала независимо сгенерированные данные ввода, а не взятые из транзакций отката.

9.2.2.5 Проверьте, чтоб случайно сгенерированные данные ввода не выходили за рамки ограничений:

  1. По крайней мере, 0,9% и не более 1,1% транзакций Новый заказ откатываются по причине неправильного номера товара. Для таких транзакций выполняется требуемый профиль и отображается правильное окно экрана. Более того, проверьте, чтобы приложение выполняло только разрешенное использование данных ввода, содержащих неправильный номер товара.

  2. Среднее количество позиций на каждый заказ варьируется от 9,5 до 10,5, оно равномерно распределяется от 5 до 15 - для транзакций Новый Заказ, которые вводятся в ТС во время измерения.

  3. Количество удаленных позиций в заказе, заполненных транзакциями Новый Заказ составляет, по крайней мере, 0,95% но не более 1,05% от общего количества, они вводятся в ТС во время измерения, а номера удаленных складов равномерно распределяются среди активных складов (см. пункт 4.2.2).

  4. Количество удаленных транзакций Оплаты составляет, по крайней мере, 14%, но не более 16% от всего количества транзакций Оплаты, которые вводятся в ТС во время измерения, а номера удаленных складов равномерно распределяются по активным складам (см. пункт 4.2.2).

  5. Количество выбора клиентов по фамилии в транзакции Оплата берется из расчета, по крайней мере, 57% но не более 63% от всего количества транзакций Оплата, которые вводятся в ТС во время измерений.

  6. Количество выбора клиентов по фамилии в транзакции Статус Заказа берется из расчета, по крайней мере, 57% но не более 63% от всего количества транзакций Статус Заказа, которые вводятся в ТС во время измерений.

9.2.2.6 Убедитесь, что результаты выполнения транзакции Доставка в режиме задержки, записываются в файл результатов. Удостоверьтесь, что файл результатов хранится на правильном типе устройства хранения информации. Более того, проверьте, чтобы ни одно действие не записывалось в файл результатов до завершения операции.

9.2.2.7 Убедитесь, что все поля экрана ввода и вывода, которые могут меняться, очищены в начале каждой транзакции.

9.2.2.8 Используя один из сконфигурированных терминалов, проверьте, чтобы окно экрана ввода/вывода для каждого типа транзакции показывало все характеристики, указанные в пункте 2.2.2.4.

9.2.2.9 Кроме того аудитор может проверить соответствие данных ввода путем проверки следующих характеристик:

  • O_ALL_LOCAL используется для подтверждения того, что 10% заказов содержат хотя бы одну позицию удаленного заказа.

  • C_PAYMENT_CNT используется для подтверждения того, что в транзакции Оплата клиентов выбирали путем неоднородного случайного распределения.

  • S_YTD используется для подтверждения, что в рамках транзакции Новый заказ количество товаров, заказанное для каждой позиции, не выходило за рамки требуемого уровня.

  • S_ORDER_CNT используется для подтверждения, что в рамках транзакции Новый заказ позиции выбирались, согласно требованиям, путем неоднородного случайного распределения.

  • S_REMOTE_CNT используется для подтверждения, что в рамках транзакции Новый заказ удаленные ряды заказа выбирались, согласно требованиям, путем однородного случайного распределения.

9.2.3 Пункт 3 Вопросы, связанные с транзакциями и Характеристиками системы

9.2.3.1 Убедитесь, что требования по каждому тесту ACID удовлетворяются.

9.2.4 Пункт 4 Вопросы, связанные с масштабированием и заполнением строк базы данных

9.2.4.1 Убедитесь, что база данных изначально имеет правильно масштабируемое требуемое заполнение.

9.2.4.2 Убедитесь, что количество элементов девяти таблиц баз данных как до начала запуска теста, так и после окончания его работы, а также в период роста в таблице НОВЫЙ ЗАКАЗ, в частности, не противоречит числу и типу выполненных транзакций.

9.2.5 Пункт 5 Вопросы, связанные с величиной производительности и временем отклика

9.2.5.1 Убедитесь, что сочетание транзакций, которые видит ТС, удовлетворяет минимальному проценту транзакций.

9.2.5.2 Проверьте действительность метода, который используется для измерения времени отклика на ЭУТ.

9.2.5.3 Если эмулируется часть ТС, проверьте, чтобы заявленное время отклика было не менее того, который видит эмулированный терминал.

9.2.5.4 Проверьте метод, используемый для определения того, что перед началом измерения ТС достигла устойчивого состояния (см.пункт 5.5).

9.2.5.5 Убедитесь, что вся работа, обычно выполняемая в устойчивом состоянии среды, фактически прошла в период интервала измерений, например, установка контрольных точек, запись на диск операций ввода/обновлений.

9.2.5.6 Проверьте длительность интервала измерений для оговоренной tpmC.

9.2.5.7 Убедитесь, что время отклика и тест были измерены в одинаковом временном интервале.

9.2.5.8 Убедитесь, что требуемые Ключевые времена и Времена обдумывания для эмулированных пользователей совершаются в соответствии с условиями.

9.2.5.9 Убедитесь, что 90 процентов времени отклика для каждого типа транзакций больше или равняется среднему времени отклика.

9.2.5.10 Если ЭУТ устанавливает отклонения для каждого типа транзакции, убедитесь чтобы они не превышали 5% от их относительной изначальной величины.

9.2.5.11 Если ЭУТ использует картотеки (см. пункт 5.2.4.2), они должны отвечать определенным требованиям.

9.2.5.12 Если используется периодические контрольные точки, проверьте, чтобы во время измерений они были надлежащим образом отмасштабированы и расставлены.

9.2.5.13 Проверьте, что среднее время обдумывания для каждого типа транзакции – не меньше минимального, указанного в пункте 5.2.5.7

9.2.6 Пункт 6. Вопросы, связанные с ТС, Драйвером и определением связи

9.2.6.1 Опишите метод, использованный для проверки точного моделирования тестируемого терминального наполнения Драйверной системой, если такая применялась.

9.2.6.2 Проверьте подключение терминалов и поддержку среды, как указанно в пункте 6.6.2.

9.2.6.3 Убедитесь, что соблюдаются ограничения на вмешательство оператора.

9.2.7 Пункт 7 Вопросы, связанные с тарификацией

9.2.7.1 Правила проверки вопросов, связанных с тарификацией, включены в текущую версию Инструкции по тарификации TPC, которая находится на сайте: www.tpc.org.

9.2.8 Вопросы, связанные с Полным отчетом о раскрытии деталей

9.2.8.1 Убедитесь, что количество процессоров, ядер, потоков, выведенных в отчет специалистом, проводившем тестирование, не противоречило их количеству, указанному операционной системой. Также проверьте, что любые процессоры, ядра, потоки, которые находились на ТС, не рассматривались как подключенные и не мешали правильной работе теста.

9.2.8.2 Любой объект СУБД, используемый в приложении TPC-C, нуждается в официальной документации или письме от поставщика СУБД аудитору, описывающему поведение и непрерывную поддержку этого поведения.

Комментарий: Например, объект СУБД – это выбор строк по порядку главного индекса, даже если нет пункта СОРТИРОВАТЬ ПО в определении курсора.

Статья: Глава 9 - АУДИТ

Перейти на главную страницу компании "Софтпоинт"