Считается, что метод наибольшего правдоподобия позволяет оптимально использовать имеющейся в данных информацию о параметрах распределения случайной величины, породившей данные. Пусть х1,...,хn - данные, которые считаем реализациями случайной величины с распределением, плотность которого в точке х зависит от неизвестного параметра a. Обозначим плотность отдельного наблюдения хi (i = 1,...,n) через р(x, a). Поскольку случайные величины хi независимы, плотность вероятностей вектора (х1,...,хn) равна произведению плотностей с неизвестным истинным значением параметра. Подставим вместо переменных элементы наблюдений, то есть реализации случайных величин х1,...,хn, а параметр а будем рассматривать как переменную величину, изменяющуюся в заданной области значений. В таком случае найденная плотность превращается в величину, которую называют правдоподобием (likelihood):
Пусть имеем точечную оценку a0 неизвестного параметра a и можем указать область А(a, ), в которую оценка a0 попадает с вероятностью не меньше α: P{a0А(a, α)} ≥ α для любого a. Тогда доверительной областью (в одномерном случае - доверительным интервалом) с уровнем доверия α для неизвестного нам истинного значения a, построенной по наблюденному в опыте значению оценки a0, является множество {a|a0А(a, α)}. Процесс доверительного оценивания является как бы обращением процесса проверки статистических гипотез: там по известному значению параметра a строили множество А(a), в которое с заданной вероятностью попадает некоторая статистика a0, а здесь по таким множествам строим область, которая накрывает с заданной вероятностью само значение a.
Можно выбрать число ε, близкое к нулю 0 < ε < 1, как вероятность того, что параметр не попал в эту область. Ясно, что α + ε = 1.
Во многих случаях представляет интерес не получение точечной оценки a0 неизвестного параметра a, то есть одного числа, а указание области, интервала на числовой прямой, в которой этот параметр находится с вероятностью, не меньшей заданной (типично от 95% до 99%). Построить такую область можно следующим образом. Выберем число , близкое к единице: 0 < α < 1 - близкая к единице вероятность, с которой параметр a должен попасть в построенную область.
Поскольку для одних и тех же параметров распределения возможны и употребительны разные оценки, целесообразно выбирать из них те, которые лучше или которые обладают желательными свойствами. Состоятельность - практически обязательное свойство всех используемых на практике оценок, несмещенность лишь желательное. Многие часто применяемые оценки свойством несмещенности не обладают. Единого способа сравнения оценок не существует, приходится использовать различные подходы. Чаще всего в качестве критерия качества оценки a0 параметра a выбирают малость величины среднего квадрата отклонения оценки от действительного значения Е(a0 - а)², а наилучшей оценкой считают такую оценку, для которой эта величина минимальна. Более общий подход состоит в том, что выбирают неотрицательную функцию "штрафа" за отклонение a0 от а (иногда говорят, функцию потерь), и наилучшей оценкой считают такую, для которой математическое ожидание величины штрафа минимально. Оценки, для которых минимальна некоторая функция потерь, часто называют оптимальными или эффективными. Но такие оценки не лучше других, так как оптимальные свойства оценок получены при определенных предположениях, которые на практике могут и не выполняться или выполняться лишь приближенно. При этом свойства подобных оценок могут оказаться не столь хорошими. Например, среднее арифметическое элементов выборки является "эффективной" оценкой математического ожидания. Для выборки из нормального распределения эта оценка несмещенная и обладает минимальной дисперсией. Но при отклонении распределения от нормального (например, при наличии "выбросов"), свойства этой оценки становятся неудовлетворительными.
В качестве оценки параметра распределения а можно использовать как медиану, так и половину суммы верхней и нижней квартилей распределения. Обозначим через med(хi) медиану имеющейся совокупности данных, через Q(0,25) и Q(0,75) ее нижнюю и верхнюю квартили. Приравняв к теоретическим характеристикам их выборочные аналоги, получим следующие оценки:
Поэтому в общем случае для нормального закона N(а0, σ²) медиана равна а0, квартили равны: а0 a Ф-1(0,75).
Применим метод квантилей для поиска параметров нормального закона. Для нормального распределения и вообще для любого распределения, в котором параметрами служат сдвиг и масштаб, обычно используют медиану и квартили - верхнюю и нижнюю. Случайную величину ξ, распределенную по закону N(а0, σ²), можно представить в виде ξ = а0 + ησ, где η подчиняется распределению N(0,1) с плотностью . Для N(0,1) медиана равна 0, а нижняя и верхняя квартили равны aФ-1(0,75) = a 0,674. Здесь и далее под числом z = Ф-1(b) подразумевается решение уравнения b = Ф(z), то есть:
Распределение Пуассона задаётся единственным параметром λ. Первый момент nλ = Σхi, оценка для λ: λ = хср.
Биномиальное распределение задаётся единственным параметром р. Первый момент np = Σхi = m, число успехов, оценка для р: р = m/n.
Приравнивая выборочные моменты к их теоретическим аналогам, получим: а = хср; . Получена оценка методом моментов, причём оценка среднего вновь среднее арифметическое, а оценка дисперсии отлична от найденной ранее несмещённой оценки.
Применим метод моментов для поиска параметров нормального закона. Пусть х1,...,хn - совокупность независимых реализаций случайной величины ξ, распределенной по нормальному закону N(a, σ²). Его плотность распределения . В качестве характеристик распределения будем использовать первый и второй моменты. Теоретические значения этих характеристик равны:
позволяет найти оценку одномерного параметра. Если параметров несколько, то выбираем несколько характеристик распределения и составляем систему из соответствующего количества уравнений. В качестве характеристик распределения обычно используют моменты или квантили. Соответственно, способы поиска оценок характеристик случайной величины называются "метод моментов" и "метод квантилей".
Пусть есть группа наблюдений случайной величины ξ с распределением, принадлежащим некоторому параметрическому семейству F(а). Необходимо по этим наблюдениям оценить неизвестный параметр а этого распределения. Для этого выберем какую-либо характеристику Т распределения случайной величины ξ, то есть среднее, медиану, квантиль, , выражаемую через функцию распределения. Функция распределения F зависит от а. Значение характеристики Т также суть функция от неизвестного значения а. Наблюдаемый по группе аналог этой характеристики Тn на основании закона больших чисел будет близок к ее теоретическому значению, если объем наблюдений достаточно велик. Поэтому решение уравнения:
Поскольку среднее значение статистики S² равно дисперсии случайной величины, породившей группу наблюдений, то наблюдаемая величина S² является несмещенной оценкой для истинной дисперсии D(ξ).
Ищем несмещённую оценку по группе данных для дисперсии распределения случайной величины. Пусть х1,...,хn - совокупность независимых реализаций случайной величины ξ, среднее значение которой равно а. Согласно закону больших чисел, для получения приближенного значения дисперсии Dξ = Е(ξ - Е(ξ))² надо в определении дисперсии заменить теоретическую функцию распределения F на ее аналог Fn. Иначе говоря, требуется заменить операцию нахождения математического ожидания Е усреднением по группе. Сначала сделаем это по отношению к Е, стоящему внутри скобок. Вместо (ξ - Е(ξ))² получим совокупность (х1 - хcp)², (х2 - хcp)²,..., (хn - хcp)². Ищем приближенное выражение для дисперсии:
В математической статистике различают две разновидности методов. Первую составляют методы оценивания параметров по конечной группе с фиксированным числом наблюдений, вторую - по неограниченно растущей группе, когда исследователь имеет возможность увеличивать число наблюдений. С теоретической точки зрения второй подход проще, так как при больших n исчезают многие проблемы, относящиеся к конечным группам. Основой для выводов в этом случае служит закон больших чисел - при больших n значения характеристик распределения группы приближаются к неизвестным теоретическим значениям этих характеристик. Теорема Чебышева дает способ оценки по группе данных теоретического значения математического ожидания: этой оценкой является среднее арифметическое значение наблюдений.
Изучение методов оценки параметров распределений
Лабораторная работа 13.
Электронный учебник по дисциплине "Математическая статистика"
Комментариев нет:
Отправить комментарий