Что определяет граница крамера рао
Что определяет граница крамера рао
уЖПТНХМЙТХЕН ПЮЕЧЙДОПЕ УМЕДУФЧЙЕ ЙЪ ОЕТБЧЕОУФЧБ тБП лТБНЕТБ.
еУМЙ УЕНЕКУФЧП ТБУРТЕДЕМЕОЙК ХДПЧМЕФЧПТСЕФ ХУМПЧЙСН ТЕЗХМСТОПУФЙ (R) Й (RR), Й ПГЕОЛБ ФБЛПЧБ, ЮФП Ч ОЕТБЧЕОУФЧЕ тБП лТБНЕТБ ДПУФЙЗБЕФУС ТБЧЕОУФЧП:
оБКДЕН ЙОЖПТНБГЙА жЙЫЕТБ ПФОПУЙФЕМШОП РБТБНЕФТБ (УЮЙФБС, ЮФП ЙНЕЕФУС ПДЙО ОЕЙЪЧЕУФОЩК РБТБНЕФТ ).
дБМЕЕ, УТБЧОЙЧБС МЕЧХА Й РТБЧХА ЮБУФЙ Ч ОЕТБЧЕОУФЧЕ тБП лТБНЕТБ, РПМХЮБЕН ТБЧЕОУФЧП:
фП ЕУФШ ПГЕОЛБ ЬЖЖЕЛФЙЧОБ (ПВМБДБЕФ ОБЙНЕОШЫЕК ДЙУРЕТУЙЕК УТЕДЙ ОЕУНЕЭЕООЩИ ПГЕОПЛ).
фЕ, ЛФП ОЕ РПНОЙФ, УЮЙФБЕН ЪБОПЧП:
ЗДЕ ЙНЕЕФ УФБОДБТФОПЕ ОПТНБМШОПЕ ТБУРТЕДЕМЕОЙЕ.
уТБЧОЙЧБС МЕЧХА Й РТБЧХА ЮБУФЙ Ч ОЕТБЧЕОУФЧЕ тБП лТБНЕТБ, РПМХЮБЕН ТБЧЕОУФЧП:
фБЛЙН ПВТБЪПН, ПГЕОЛБ ЬЖЖЕЛФЙЧОБ.
оБКДЕН ЙОЖПТНБГЙА жЙЫЕТБ ПФОПУЙФЕМШОП РБТБНЕФТБ
рМПФОПУФШ ДБООПЗП РПЛБЪБФЕМШОПЗП ТБУРТЕДЕМЕОЙС ЙНЕЕФ ЧЙД:
рПДУФБЧЙЧ ДЙУРЕТУЙА Й ЙОЖПТНБГЙА жЙЫЕТБ Ч ОЕТБЧЕОУФЧП тБП лТБНЕТБ, РПМХЮБЕН ТБЧЕОУФЧП:
пФУХФУФЧЙЕ ТБЧЕОУФЧБ Ч ОЕТБЧЕОУФЧЕ тБП лТБНЕТБ ЧПЧУЕ ОЕ ПЪОБЮБЕФ ОЕЬЖЖЕЛФЙЧОПУФШ ПГЕОЛЙ. рТЙЧЕДЕН РТЙНЕТ ПГЕОЛЙ, ЛПФПТБС СЧМСЕФУС ЬЖЖЕЛФЙЧОПК, ОП ДМС ЛПФПТПК ОЕ ДПУФЙЗБЕФУС ТБЧЕОУФЧП Ч ОЕТБЧЕОУФЧЕ тБП лТБНЕТБ. ч ЬЖЖЕЛФЙЧОПУФЙ ПГЕОЛЙ ЙЪ ЬФПЗП РТЙНЕТБ НЩ ИПФЕМЙ ВЩ, ОП ОЕ УНПЦЕН ХВЕДЙФШУС.
оБРПНОЙН, ЮФП чЩЮЙУМЙН НБФЕНБФЙЮЕУЛПЕ ПЦЙДБОЙЕ
рПДУФБЧЙЧ ДЙУРЕТУЙА Й ЙОЖПТНБГЙА жЙЫЕТБ Ч ОЕТБЧЕОУФЧП тБП лТБНЕТБ, РПМХЮБЕН, ЮФП РТЙ МАВПН ЕУФШ УФТПЗПЕ ОЕТБЧЕОУФЧП :
фЕН ОЕ НЕОЕЕ, ПГЕОЛБ СЧМСЕФУС ЬЖЖЕЛФЙЧОПК, ОП ДПЛБЪЩЧБФШ НЩ ЬФП ОЕ ВХДЕН.
Научная электронная библиотека
2.9. Эффективность оценки. Нижняя граница дисперсии несмещенной оценки. Неравенство Крамера-Рао
Предположим, что мы производим оценку неизвестного неслучайного параметра Θ и в результате измерений получаем так называемую несмещенную оценку, т.е. такую оценку, математическое ожидание которой равняется значению самого оцениваемого параметра, т.е. 
Для того чтобы определить качество оценки, следует определить ее дисперсию, которая вычисляется следующим образом:
Дисперсия дает меру рассеяния ошибки. Наилучшей оценкой была бы, по-видимому, несмещенная оценка с минимальной дисперсией. Однако регулярной процедуры, которая бы приводила к получению алгоритма, формирующего несмещенную оценку с минимально возможной дисперсией, не существует.
В этой ситуации имеет смысл получить выражение для нижней границы дисперсии любой несмещенной оценки. Знание границы позволит сравнить дисперсию той или иной оценки с этой границей, и в том случае, если будет получено совпадение дисперсии оценки с нижней границей, может быть сделан вывод, что мы получили наилучшую оценку. Если же точное совпадение не обеспечено, то и в этом случае мы можем судить, насколько наша оценка отличается от потенциально достижимой.
Докажем следующее утверждение. Если 
– любая несмещенная оценка величины Θ, то
(2.9.1)
или, что эквивалентно,
(2.9.2)
При этом мы считаем, что производные
и 
существуют и являются абсолютно интегрируемы.
Неравенства (2.9.1) и (2.9.2) обычно называются границами Крамера-Рао. Любая оценка, удовлетворяющая указанной границе со знаком равенства, называется эффективной оценкой.
Доказательство этого положения основано на использовании неравенства Буняковского-Шварца. Так как по нашему предположению оценка считается несмещенной, запишем
(2.9.3)
Дифференцируя обе части по Θ, имеем
(2.9.4)
Первый интеграл равен 1. Кроме того, заметим, что
(2.9.5)
Подставляя (2.9.5) в (2.9.4), получаем
Перепишем подынтегральное выражение в следующем виде:
и используем неравенство Буняковского-Шварца:
(2.9.6)
В связи с тем, что каждый из сомножителей представляет собой математическое ожидание, имеем следующее неравенство:
Итак, неравенство (2.9.1) можно считать доказанным. Для доказательства неравенства (2.9.2) заметим, что
Дифференцируя по Θ, имеем
(2.9.7)
Вновь дифференцируя по Θ и применяя (2.9.5), получим
Последнее равенство означает справедливость условия (2.9.2).
Неравенство Крамера-Рао позволяет сделать ряд важных замечаний.
1. Любая несмещенная оценка имеет дисперсию больше, чем некоторое число.
2. Неравенство Буняковского-Шварца (2.9.6) выполняется тогда и только тогда, когда
(2.9.8)
Если эффективная оценка существует (равенство (2.9.8) выполняется), то эта оценка является оценкой максимального правдоподобия. Действительно, уравнение правдоподобия имеет вид
Для того чтобы правая часть равенства (2.9.8) принимала нулевое значение, оценка 
должна быть равна 
.
3. Если эффективной оценки не существует (равенство (2.9.8) не выполняется), то неизвестно, насколько оптимальной является оценка максимального правдоподобия (насколько близко она приближается к границе). В этой ситуации границу и дисперсию оценки приходится вычислять и полученные величины сравнивать. Однако достаточно обнадеживающим является тот факт, что оценка по максимуму правдоподобия является асимптотически эффективной, иначе говоря, при стремлении размера выборки (размерности вектора x к бесконечности) дисперсия оценки максимального правдоподобия стремится к своей границе.
Интуитивное объяснение информации Фишера и границы Крамера-Рао
Мне не нравится информация Фишера, что она измеряет и чем она полезна. Кроме того, для меня не очевидны отношения с Крамером-Рао.
Может ли кто-нибудь дать интуитивное объяснение этих понятий?
Здесь я объясняю, почему асимптотическая дисперсия оценки максимального правдоподобия является нижней границей Крамера-Рао. Надеюсь, это даст некоторое представление об актуальности информации Фишера.
Из последовательности оценки MLE мы знаем, что
Теперь, когда вы делаете оценку максимального правдоподобия (вставьте здесь «условия регулярности»), вы устанавливаете
Информация Фишера также «обнаруживается» во многих асимптотических анализах из-за того, что известно как приближение Лапласа. В основном это связано с тем, что любая функция с «хорошо округленным» одиночным повышением максимума до более высокой степени переходит в гауссову функцию (аналогично теореме о центральном пределе, но немного больше Генеральная). Поэтому, когда у вас большая выборка, вы эффективно находитесь в этой позиции и можете написать: exp ( − a x 2 ) ‘ role=»presentation»> exp ( − a x 2 )
И когда вы Тейлор расширите логарифмическую вероятность MLE:
Что обычно означает хорошее приближение замены суммы интегралом, но для этого требуется, чтобы данные были независимыми. Таким образом, для больших независимых выборок (заданных ) вы можете видеть, что информация Фишера является переменной MLE для различных значений MLE. θ ‘ role=»presentation»> θ
Это самая интуитивная статья, которую я когда-либо видел:
Хорошая история с глубоким посланием о реальности.
Учитывая приведенное выше описание, мы можем сказать следующее о CRLB. Среди всех объективных оценок CRLB представляет собой оценщик с ковариацией который для фиксированной вероятности «близости» (как определено выше) имеет наименьшую эллипсоид концентрации. На рисунке ниже представлена 2D-иллюстрация (вдохновленная иллюстрацией в книге Шарфа ). Е гр г л б Р г θ ^ c r l b ‘ role=»presentation»> θ ^ c r l b Σ c r l b ‘ role=»presentation»> Σ c r l b P r ‘ role=»presentation»> P r
Граница Крамера – Рао
Скалярный несмещенный случай
Эффективность несмещенной оценки θ ^ <\ displaystyle <\ hat <\ theta>>> 
измеряет, насколько близко дисперсия этой оценки подходит к этой нижней границе; эффективность оценщика определяется как
или минимально возможная дисперсия для несмещенной оценки, деленная на ее фактическую дисперсию. Таким образом, оценка снизу Крамера – Рао дает
Общий скалярный случай
Связано с дисперсией смещенных оценок
Многомерный случай
Расширение границы Крамера – Рао до нескольких параметров, определение вектора- столбца параметра
Если Т ( Икс ) <\ displaystyle <\ boldsymbolявляется несмещенной оценкой θ <\ displaystyle <\ boldsymbol <\ theta>>> (т.е. ψ ( θ ) знак равно θ <\ displaystyle <\ boldsymbol <\ psi>> \ left (<\ boldsymbol <\ theta>> \ right) = <\ boldsymbol <\ theta>>> ), то оценка Крамера – Рао сводится к
Условия регулярности
где интегральная и частная производная поменяны местами (оправдано вторым условием регулярности).
опять же, потому что операции интегрирования и дифференцирования коммутируют (второе условие).
что доказывает предложение.
Многомерное нормальное распределение
Для случая нормального распределения d- переменной
информационная матрица Фишера имеет элементы [10]
Тогда информация Фишера представляет собой скаляр, задаваемый формулой
и поэтому граница Крамера – Рао имеет вид
Нормальное отклонение от известного среднего
Граница Крамера – Рао утверждает, что
Однако мы можем добиться более низкой среднеквадратичной ошибки, используя смещенную оценку. Оценщик
очевидно, имеет меньшую дисперсию, которая на самом деле
поэтому его среднеквадратичная ошибка
что явно меньше найденной выше границы Крамера – Рао.
Граница Крамера – Рао
Скалярный несмещенный случай
Эффективность несмещенной оценки θ ^ <\ displaystyle <\ hat <\ theta>>> измеряет, насколько близко дисперсия этой оценки подходит к этой нижней границе; эффективность оценщика определяется как
или минимально возможная дисперсия для несмещенной оценки, деленная на ее фактическую дисперсию. Таким образом, оценка снизу Крамера – Рао дает
Общий скалярный случай
Связано с дисперсией смещенных оценок
Многомерный случай
Расширение границы Крамера – Рао до нескольких параметров, определение вектора- столбца параметра
Если Т ( Икс ) <\ displaystyle <\ boldsymbolявляется несмещенной оценкой θ <\ displaystyle <\ boldsymbol <\ theta>>> (т.е. ψ ( θ ) знак равно θ <\ displaystyle <\ boldsymbol <\ psi>> \ left (<\ boldsymbol <\ theta>> \ right) = <\ boldsymbol <\ theta>>> ), то оценка Крамера – Рао сводится к
Условия регулярности
где интегральная и частная производная поменяны местами (оправдано вторым условием регулярности).
опять же, потому что операции интегрирования и дифференцирования коммутируют (второе условие).
что доказывает предложение.
Многомерное нормальное распределение
Для случая нормального распределения d- переменной
информационная матрица Фишера имеет элементы [10]
Тогда информация Фишера представляет собой скаляр, задаваемый формулой
и поэтому граница Крамера – Рао имеет вид
Нормальное отклонение от известного среднего
Граница Крамера – Рао утверждает, что
Однако мы можем добиться более низкой среднеквадратичной ошибки, используя смещенную оценку. Оценщик
очевидно, имеет меньшую дисперсию, которая на самом деле
поэтому его среднеквадратичная ошибка
что явно меньше найденной выше границы Крамера – Рао.