Что значит первично положительный результат ожидает валидации
Валидация — что это простыми словами? Чем отличается валидация от верификации? + ПРАКТИЧЕСКИЙ СОВЕТ
Здравствуйте, дорогие читатели! Добро пожаловать на блог!
Валидация — что это простыми словами? Чем отличается валидация от верификации? Ответы на эти вопросы — в статье.
Многие слова «валидация» и «верификация» считают синонимами. Но это не так. Разница есть, но она очень тонкая. Давайте разбираться.
Валидация и верификация — что это простыми словами?
Справедливости ради надо сказать, что в разных областях деятельности (в банках, в платежных системах, в интернете), в разных отраслях производства эти термины используются по-разному. Я решила привести здесь определение валидации и верификации из стандарта ISO 9000.
Мы видим, что определения совпадают в значительной части, но не полностью. Однако, несмотря на такое большое совпадение валидация и верификация — это разные действия.
Чтобы проще было понять, что такое валидация, давайте сначала разберемся, чем валидация отличается от верификации.
Чем отличается валидация от верификации?
Итак, что такое верификация? Более детально можете узнать из этой статьи, но здесь скажем коротко, что слово «верификация» происходит от английского слова «verification» — проверка. А слово «валидация» происходит от английского «validation» — придание законной силы.
Примеры валидации и верификации в разных сферах.
Без примеров трудно понять отличия валидации и верификации. Приведем несколько примеров из разных областей.
Пример из области медицины
Скажем, разработали новое лекарство. Провели многочисленные тесты для ПРОВЕРКИ, что лекарство лечит такую-то болезнь. Здесь речь идет о ВЕРИФИКАЦИИ (о проверке соответствия лекарства его предназначению). Но Вы знаете, что на самом деле лекарство подходит не всем. Чтобы начать лечение Вам нужна ВАЛИДАЦИЯ врача. Только врач может ПОДТВЕРДИТЬ, что это лекарство подойдет КОНКРЕТНО Вам.
ВЕРИФИКАЦИЯ — это тестирование лекарства с целью ПРОВЕРКИ на соответствие его предназначению. А ВАЛИДАЦИЯ — это ПОДТВЕРЖДЕНИЕ врача, что лекарство подойдет КОНКРЕТНОМУ больному.
Пример из области производства
Предположим завод по производству велосипедов принял заказ на партию велосипедов. Так вот, ВЕРИФИКАЦИЮ (ПРОВЕРКУ) на соответствие требованиям заказчика выполняет сам завод-производитель. А вот ВАЛИДАЦИЮ (ТЕСТИРОВАНИЕ, ПРОВЕРКУ) на соответствие своим требованиям будут выполнять представители самого заказчика.
Пример из области IT
Аналогичный пример можно привести из области IT. Компания — разработчик программного обеспечения получила заказ на разработку какого-то софта. Программа, которая была создана, прошла тестирование. Результатом тестирования является ВЕРИФИКАЦИЯ на стороне компании, выполняющей заказ, что программа полностью соответствует тех заданию заказчика. А вот ВАЛИДАЦИЮ будет выполнять сам заказчик, когда установит программное обеспечение и протестирует его.
Пример из сферы интернета
Социальная сеть Твиттер проводит ВЕРИФИКАЦИЮ аккаунтов знаменитостей, чтобы участники сети точно знали, что посты публикуются действительно этой знаменитостью. В результате верификации в аккаунте знаменитости появляется синий значок с галочкой.
Еще пример. Для того, чтобы стать продавцом на Амазоне, Вам необходимо пройти ВЕРИФИКАЦИЮ личности. Также необходимо пройти верификацию при регистрации аккаунтов во всех платежных системах (Вебмани, Яндекс.Деньги, Киви и т.д.)
Пример из законодательной области
Инициативный депутат решил улучшить жизнь и придумал прогрессивный Закон. Законотворческие органы выполнят ПРОВЕРКУ нового Закона на соответствие другим Законам и международному праву и ВЕРИФИЦИРУЮТ его. Но Закон вступит в силу не сразу, а только через месяц — после его ВАЛИДАЦИИ (придания законной силы) высшим органом законодательной власти. За этот месяц можно отозвать Закон, выявив вред для каких-то КОНКРЕТНЫХ слоев населения.
Например, соц сеть Твиттер верифицирует аккаунты знаменитостей для того, чтобы пользователи были уверены, что сообщения действительно публикует эта знаменитость или её официальный представитель. В аккаунте пользователя Твиттере, который прошел такую верификацию, ставится синий значок с галочкой.
Теперь можно сделать общий вывод, что верификация (проверка) встречается чаще, чем валидация. Валидация (подтверждение для конкретного случая) нужна не всегда.
Практический совет
Вы спросите, для чего нужно разбираться в этих терминах? Скажу, что есть и практическая польза. Главная цель верификации и валидации — безопасность, чтобы Ваши банковские карты и аккаунты были защищены. Однако, пользуясь тем, что многие не разбираются в этих терминах, злоумышленники для похищения личных данных часто применяют такой способ, как сообщение с просьбой верифицировать или валидировать вашу банковскую карту, аккаунт и т.д..
Практический совет: При появлении окна с просьбой верификации или валидации Ваших данных проверьте в адресной строке данные сайта, нет ли пропущенных или лишних символов. Либо попробуйте зайти в эту программу с другого устройства и если такого сообщения не появляется, значит Ваш компьютер надо лечить от опасных вирусов.
Резюме
Надеюсь, статья, оказалась полезной для Вас и Вы теперь знаете ответы на вопросы: Валидация — что это простыми словами? Чем отличается валидация от верификации?
Вот по традиции порция полезного видео. В котором Жак Фреско учит мыслить нестандартно, не так, как все. ЭТИ НЕСКОЛЬКО МИНУТ БУДУТ ТОЧНО ПОТРАЧЕНЫ НЕ ЗРЯ!
Желаю всем новых идей и много сил для их реализации!
Что значит первично положительный результат ожидает валидации
Для большинства специалистов стран СНГ понятия валидация и верификация метода являются новыми. В связи с этим дадим подробную характеристику этим терминам.
Валидация и верификация метода: определения терминов и цели
Как видим, термины валидация и верификация подразумевают выполнение в лаборатории различных мероприятий. Основа различий состоит в том, что мероприятия по валидации метода предусматривают работу по оценке его аналитической эффективности в лаборатории и определении ее приемлемости путем сравнения с целями качества, в то время как мероприятия по верификации метода предусматривают работу по доказательству его аналитической эффективности, установленную и заявленную производителем. В том случае, если эта эффективность подтвердится (верифицируется), лаборатория может использовать данные производителя для планирования процедуры статистического контроля качества (СКК). На рис. 2 представлен обобщенный процесс верификации/валидации метода или AC в медицинской лаборатории. 
Рисунок 2. Схема процессов верификации/валидации метода/АС в медицинской лаборатории. Как правило, для большинства методов сначала усилия лабораторных аналитиков направлены на верификацию метода, а валидацию выполняют только тогда, когда его верификация не состоится.
Все мероприятия по валидации или верификации метода несут в себе тайный смысл, который заключается в определении/доказательстве величин его ошибок и сравнении их с целевыми ошибками требований к качеству. Действительно, аналитическая эффективность метода определяется величиной его ошибок, а приемлемость для клиники определяется на основании результата сравнения этих ошибок с теми целевыми, которые допустимы для клиники. Тогда, для того чтобы метод был приемлем для клиники, величины наблюдаемых в нем ошибок должны быть небольшими относительно целевых ошибок, содержащихся в требованиях к качеству, и наоборот, если ошибки метода будут велики относительно целевых ошибок, то тогда метод не будет приемлем для клиники. Фокусирование внимания на аналитических ошибках метода и сравнении их с целевыми ошибками требований к качеству является краеугольным камнем всех мероприятий процесса его верификации или валидации. Таким образом, цель верификации/валидации метода или АС заключается в определении (или доказательстве) величин ошибок метода/АС, сравнении этих ошибок с ошибками целей качества и на основании этого сравнения в определении их приемлемости для клиники. Приемлемость для клиники служит гарантией минимальной вероятности помех со стороны ошибок верифицируемого или валидируемого метода на клиническую интерпретацию результатов тестирования. Принимая во внимание важность оценки аналитических ошибок в процессе проведения верификации/валидации метода или АС, остановимся на основных их типах.
Аналитические ошибки и их типы
В отличие от случайной ошибки систематическая ошибка всегда имеет одно направление, которое можно предсказать (рис. 4), и ее величина может равняться нулю (ΔSE≥0). 
Рисунок 4. Систематическая ошибка (SE). Формируется как разность между наблюдаемым средним значением аналита и его истинным значением. В связи с тем что многие аналиты не имеют полной цепочки метрологической прослеживаемости к единицам SI, для них в качестве «истинного» значения могут выступать результаты метода сравнения. Следовательно, SE является причиной завышения либо занижения результатов тестирования. Как правило, в медицинской лаборатории величину SE определяют либо на основании результатов ВОК, либо на основании сравнительного анализа методов или АС, используя для этого статистику линейной регрессии либо статистику парного t-теста.
Константная систематическая ошибка (Constant Systematic Error) обусловлена влиянием на концентрацию исследуемого аналита интерферентов (см. далее), ее величина не меняется на всем протяжении рабочего диапазона метода.
Пропорциональная систематическая ошибка (Proportional Systematic Error) обусловлена влиянием на концентрацию исследуемого аналита матрикса пробы, ее величина возрастает по мере возрастания концентрации исследуемого аналита (рис. 5). 
Рисунок 5. Константная и пропорциональная систематические ошибки.
После описания типов аналитических ошибок остановимся на механизмах или экспериментах, при помощи которых можно определить величины этих ошибок.
Верификационные эксперименты по подтверждению величин аналитических ошибок
Смысл верификационных экспериментов заключается в подтверждении спецификаций производителя по прецизионности (случайной ошибке) и правильности (систематической ошибке) метода или АС, т.е. их аналитической эффективности. Методология проведения этих экспериментов прекрасно изложена в документе Института клинических лабораторных стандартов (Clinical and Laboratory Standards Institute) EP 15-А3 [2]. Следует отметить, что документ предлагает проводить верификацию систематической ошибки метода на основании оценки величины его правильности (trueness), нового термина, рекомендуемого документом ISO 15189 (cм. далее).
Валидационные эксперименты по определению величин аналитических ошибок
Как продемонстрировано в табл. 1, для определения величин различных типов аналитических ошибок существуют различные валидационные эксперименты. 
В первом столбце таблицы представлены типы ошибок. Второй столбец таблицы назван «предварительные», так как указанные в нем валидационные эксперименты легче выполнять и их выполнение занимает меньше времени и усилий, чем «финальные» эксперименты. Финальные эксперименты требовательней, их выполняют только тогда, когда результаты предварительных экспериментов продемонстрируют приемлемую аналитическую эффективность метода. В то же время «плохие» результаты предварительных экспериментов являются объективным основанием для прекращения процесса валидации метода и его отклонения.
Репликационные эксперименты дают информацию о величине случайной ошибки метода. Их выполняют путем повторного определения концентрации аналита(ов) одного и того же образца в течение определенного периода времени, как правило, в течение аналитической серии, рабочего дня или рабочего месяца. Цель предварительного репликационного эксперимента заключается в определении величины внутрисерийной случайной ошибки путем расчета величины внутрисерийной непрецизионности. Как правило, его выполняют в течение одного рабочего дня. Цель же финального репликационного эксперимента состоит в определении величины общей случайной ошибки, путем расчета величины общей (промежуточной) непрецизионности, которая включает в себя ее внутрисерийный и межсерийный компоненты. Как правило, его выполняют в течение двадцати рабочих дней.
Эксперимент по определению интерференции дает информацию о величине константной систематической ошибки, возникающей вследствие недостаточной аналитической специфичности метода, а также о вызывающих ее причинах, т.е. интерферентах. В процессе постановки эксперимента один экспериментальный образец готовят при помощи добавления подозреваемого в интерференции вещества (билирубин, липиды, гемоглобин) в пробу, содержащую аналит. Вторую аликвоту, оригинальную пробу, разводят в том же соотношении диюлентом, после чего анализируют обе пробы при помощи тестируемого метода и определяют разницу в полученных результатах.
Эксперимент на открытие (Recovery experiment) дает информацию о величине пропорциональной систематической ошибки, возникающей вследствие конкурентной реакции элементов матрикса пробы с аналитом. Тестируемую пробу готовят при помощи добавления стандартного раствора тестируемого аналита к аликвоте пробы пациента. Базовую пробу готовят путем добавления эквивалентного количества диюлента, используемого для приготовления стандартного раствора аналита, во вторую аликвоту того же самого образца пациента. Затем обе пробы анализируют при помощи тестируемого метода и сравнивают концентрации открытого аналита в тестируемой пробе с его концентрацией в базовой пробе.
Эксперимент по сравнительному анализу методов дает информацию о средней величине систематической ошибки, наблюдаемой при исследовании проб пациентов. Кроме того, при помощи этого метода можно определить природу этой ошибки, т.е. среднюю величину константного или пропорционального ее компонентов. В ходе проведения эксперимента собирают серию проб пациентов и анализируют их при помощи тестируемого метода и метода сравнения, после чего сравнивают полученные результаты с целью определения различий между ними и, следовательно, между методами или АС. Величина этих различий определяет величину систематической ошибки между ними.
Подробную методологию выполнения валидационных экспериментов можно найти в соответствующих документах Института клинических лабораторных стандартов (Clinical and Laboratory Standards Institute) 4.
Текущие и будущие тенденции: неопределенность или общая ошибка?
С разработкой документа ISO 15189 концепции и терминология, которые применялись для калибровочных лабораторий, т.е. метрологических лабораторий, стали применяться и для медицинских лабораторий. Иными словами, документ ISO 15189 вводит медицинские лаборатории в мир метрологии, где заказчикам (врачам, пациентам) предлагается продукт (результат теста) с приписанными целевыми значениями вместе с неопределенностью («сомнением») в отношении этого целевого значения. Действительно, сегодня медицинские лаборатории все больше и больше начинают работать в координатах правильности (trueness) и неопределенности измерений (measurement uncertainty). Это подтверждают даже названия некоторых, относительно недавно разработанных документов CLSI [2, 6, 7], а также введенная в 2007 г. Федеральным медицинским советом (RilliBÄK) новая метрика оценки аналитического качества (RMSD) для немецких лабораторий (см. далее). В связи с этим попробуем описать концепцию неопределенности и сравнить ее с концепцией общей ошибки.
ISO, VIM и GUM: основные метрологические термины и их определение
•Цепочка метрологической прослеживаемости определяется иерархией калибровок от измеренного результата к установленному метрологическому эталону.
ISO, VIM и GUM: объяснение терминов и концепций
Как показано на рис. 8, используя такую систему референтных методов и материалов, можно определить прослеживаемую величину (traceable value). 
Рисунок 8. Правильность и точность в соответствии с ISO и GUM. В отличие от традиционной (старой) концепции, в которой точность была связана только с систематической ошибкой, сейчас концепция точности включает в себя как систематический, так и случайный компонент ошибки измерения, а с систематической ошибкой ассоциирован термин «правильность».
В настоящее время термин «прослеживаемая величина» (traceable value) заменяет более ранний термин «истинная величина» (true value). Ее величина не может быть точно известна, и ее правильность должна описываться в терминах «неопределенности измерения».
Ранее концепция точности была связана только с систематической ошибкой. Сейчас, в новом мире ISO и GUM, точность отражает ошибку отдельного результата измерения мезюранда (аналита) и включает в себя как систематический, так и случайный ее компоненты, а с систематической ошибкой ассоциирован термин «правильность».
Концепция неопределенности измерения сфокусирована на определении дисперсии результата измерения концентрации аналита, которая могла бы быть получена в ситуации, когда проводили бы его многократные измерения. Для этого используют доступные данные по дисперсии различных источников неопределенности измерения, связанных с данной измерительной системой для определения интервала значений, в пределах которого с установленным уровнем достоверности будет находиться его прослеживаемое значение. Например, если результат измерения концентрации глюкозы в пробе сыворотки крови будет равен 5,5 ммоль/л, соответствующая информация по ECU может обеспечить 95% достоверность в том, что прослеживаемое значение концентрации глюкозы в этой пробе будет находиться в интервале от 5,3 до 5,7 ммоль/л.
Теоретически, в связи с тем, что при расчете UM работает метрологическая прослеживаемость, величина аналитического смещения должна быть элиминирована, например при помощи повторной калибровки. Тем не менее на практике это не всегда имеет место. Тогда возникает вопрос: как при расчете UM выполнить коррекцию аналитического смещения? Ответ в том, что подход UM допускает определение неопределенности величины аналитического смещения как комбинации неопределенности, приписанной самому референтному значению, и стандартной ошибки среднего значения референтного материала, полученной на основании повторных измерений этого референтного материала в лаборатории при помощи данной процедуры измерения. В связи с этим величина неопределенности смещения выражается в виде SD. На первый взгляд это непонятно, поэтому приведем практический пример. Допустим, производитель тест-системы ассигновал величину своего калибратора, используя для этого сертифицированный вторичный (матрикс-соответствующий) референтный материал (CRM), который является метрологически прослеживаемым до единиц SI (моль), и предоставил свою спецификацию, в которой указал, что калибратор коммутабелен с СRM. Медицинская лаборатория купила CRM и выполнила в нем десять репликативных измерений концентрации аналита и получила следующие данные (табл. 2). 
Определение неопределенности смещения (U Bias ) проводят в два этапа:
1) сначала рассчитывают неопределенность среднего значения CRM, полученное в лаборатории, которая равна величине стандартной ошибки среднего: UMV = 0,08/√10 = 0,025 ммоль/л;
2) после этого рассчитывают величину неопределенности смещения: U Bias = √(0,05) 2 + (0,025) 2 ; U Bias = 0,0559 ммоль/л.
— CSU meas = (0,05592 + 0,092)½= 0,1 ммоль/л; для первого уровня КМ;
— CSU meas = (0,05592 + 0,072)½= 0,09 ммоль/л; для второго уровня КМ.
Определение расширенной комбинированной неопределенности измерения (ECU meas ) определяют путем умножения CSU meas на фактор покрытия, чаще всего 2, обеспечивая ее 95% ДИ. Тогда:
— ECU meas = 0,1 ммоль/л ×2 = 0,2 ммоль/л;
для первого уровня КМ;
— ECU meas = 0,09 ммоль/л ×2 = 0,18 ммоль/л;
для второго уровня КМ.
Например, если результат измерения концентрации аналита составит 5 ммоль/л, т.е. его концентрация будет близка к области концентраций первого уровня контрольного материала, можно с 95% вероятностью сделать заключение, что прослеживаемое значение концентрации аналита в этой пробе будет находиться в интервале от 4,8 до 5,2 ммоль/л.
Подход, описанный выше, называется «движение сверху вниз». В соответствии с ним известная величина смещения должна быть элиминирована или минимизирована, а ее остаточную величину, оцененную в терминах неопределенности величины смещения, используют для повторной калибровки или коррекции результатов. Часто величина неопределенности смещения минимальна по сравнению с величиной непрецизионности, поэтому игнорируется. В связи с этим общая (промежуточная) величина непрецизионности, полученная в результате проведения контроля качества (КК), отражает общую неопределенность результатов измерения. Этот подход можно использовать в медицинских лабораториях, но он в силу объективных причин сопряжен с определенными практическими трудностями (см. далее).
Подход «движение снизу вверх» основан на оценке неопределенностей, ассоциированных с отдельными компонентами измерительной системы, и комбинировании их в модель, отражающую их воздействие на всю систему измерения. Этот подход лучше всего подходит для нужд производителей изделий для IVD, а именно для валидации новой процедуры измерения или поиска технических этапов, в которых можно снизить величину UN. Подходу «движение снизу вверх» посвящен недавно вышедший документ CLSI [6].
В 2007 г. RilliBÄK [Руководство («Rili») Федерального медицинского совета Германии (BÄK)] представил новую метрику оценки внутрилабораторного качества для немецких лабораторий: корень среднеквадратичного отклонения (Root Mean Square Deviation), которая выражается в виде процента к целевому значению (%RMSD). По сути эта метрика выражения общей ошибки определения аналита способом, схожим с тем, который рекомендован ISO для расчета величины неопределенности: 
Как видно из формулы определения RMSD, в качестве «опорной» величины для расчета внутрилабораторного аналитического смещения RiliBÄK рекомендует использовать целевое значение контрольного материала, приписанное производителем (Target Value). Это говорит о том, что RiliBÄK предъявляет достаточно жесткие требования к производителям контрольных и калибровочных материалов в плане обеспечения метрологической прослеживаемости их продукции. Коррекцию аналитического смещения RiliBÄK рекомендует проводить, возводя его значение в квадрат, после чего суммируя его с величиной дисперсии. Методически это не совсем правильно, поскольку смещение не является стандартным отклонением, поэтому, возведя его в квадрат, мы не получим дисперсию. Более правильно использовать подход со стандартной ошибкой среднего и неопределенностью сертифицированного референтного материала (СRM), определяя неопределенность аналитического смещения (см. выше), но для медицинских лабораторий CRM не всегда может быть доступен.
Как только немецкая лаборатория определяет цель в виде %RMSD, она начинает проводить внутрилабораторную оценку качества, создавая контрольные карты на основании величины предельной ошибки (Error Margin, ЦЗ ± Целевой %RMSD). Эта оценка проводится в течение двух временных периодов. Во-первых, в лаборатории должна выполняться ежедневная оценка контрольных результатов, значения которых не должны превышать величину соответствующей предельной ошибки. Во-вторых, лаборатории следует выполнить ретроспективную оценку результатов контрольного цикла. Для этого, для каждого уровня контрольного материала, на основании данных ежедневного контроля качества, полученных на протяжении всего контрольного цикла, рассчитывают среднее значение, стандартное отклонение (SD), аналитическое смещение (bias) и %RMSD. Рассчитанные %RMSD не должны превышать соответствующие целевые величины %RMSD. Если результаты ежедневного контроля качества и особенно ретроспективной оценки его результатов будут превышать целевые %RMSD, то тогда немецкая лаборатория должна выполнить корректирующие мероприятия, вплоть до повторной валидации метода или аналитической системы.
Неопределенность или общая ошибка: что лучше?
Исторически в лабораторной медицине концепция общей ошибки была предшественницей концепции неопределенности измерения. В связи с этим теоретические аспекты концепции общей ошибки уступают таковым концепции неопределенности измерения, но практические аспекты общей ошибки, несомненно, лучше.
Теория
1. Не может эффективно применяться к отдельному результату измерения аналита, поскольку строительные блоки концепции TE не могут точно отражать ошибку отдельного результата измерения, поскольку невозможно точно определить величину аналитического смещения (рис. 11). В самом деле, значения мезюранда, приписанные к сертифицированному референтному материалу, являются неточными и выражаются в форме единиц x±y. Кроме того, среднее значение, рассчитанное для референтного материала на основании данных репликативных измерений при помощи рутинного метода, имеет неизбежную непрецизионность (стандартную ошибку среднего), поэтому среднее значение, используемое для рутинной процедуры измерения, также выражается в форме единиц x±y. В связи с тем что обе величины, используемые для расчета аналитического смещения, имеют неопределенность, величина аналитического смещения н