Вероятность и статистика – основные факты. Понятие об оценке параметров генеральной совокупности

До сих пор мы говорили об оптимальности оценок в смысле мини­мума квадратичного критерия. Оказывается, что при выполнении условий Гаусса-Маркова они являются также оптимальными в смысле минимума дисперсии.

Оценка называется эффективной, если она имеет минимальную дис­персию по сравнению с другими оценками заданного класса.

Таким образом, оценки наименьших квадратов являются эффек­тивными, т. е. наилучшими в смысле минимума диспепсии, в классе всех линейных несмещенных оценок параметров.

Рассмотрим функции плотности вероятности и одиночного наблюдения и выборочного среднего .

Величина х считается распределённой. Распределения и симметрично относительно -теоретического среднего. Разница в том, что распределение - уже и выше. Величина , ближе к , чем значение единичного наблюдения, поскольку её случайная составляющая , есть среднее от чисто случайных составляющих в выборке и они как-бы «гасят» друг друга при расчёте среднего.

Вычтем из (1) (2):

То есть оценка теоретической дисперсии зависит от (и только от) числа случайной составляющей наблюдений х в выборке. Поскольку эти составляющие меняются от выборки к выборке, так от выборки к выборке меняется и величина оценки .

Несмещённость.

Поскольку оценки являются случайными переменными, их значения лишь по случайному совпадению могут в точности равняться характеристикам генеральной совокупности. Обычно будет присутствовать определённая ошибка, которая может быть большой, или малой, положительной или отрицательной, в зависимости от чисто случайных составляющих величин х в выборке.

Желательно, чтобы оценка в среднем за достаточно длительный период была аккуратной. То есть математическое ожидание оценки = соответствующей характеристике генеральной совокупности. Такая оценка называется несмещённой . Если это не так, то оценка называется смещённой и разница, между её М. О. и соответствующей теоретической характеристикой генеральной совокупности называется смещением .

Полученная оценка – не единственно возможная несмещённая оценка . Рассмотрим выборку из всего двух наблюдений и . Любое взвешенное среднее наблюдений и было бы несмещённой оценкой, если сумма весов равна 1. Докажем, это. Рассмотрим обобщённую форму оценки:

то ,

Что является предметом эконометрии?

факторы, формирующие развитие экономических явлений и процессов.

Какие основные экономические задачи решаются с использованием эконометрии?

является прогнозирование путей развития макро- и микроэкономических факторов хозяйственной деятельности.

3)Какие основные методы используются при построении экономических моделей?

метод регрессионного и корреляционного анализа.

4)Какое основное отличие корреляционной зависимости y=f(x) от функциональной?

При функциональной зависимости каждому аргументу (X) соответствует строго определённое значение (У), а при корреляционной зависимости- каждому аргументу (X) соответствует не одно строго определённое значение функции (У), а ряд распределения этой величины.

Что показывает линия регрессии?

как в среднем изменяется У с изменением Х;

Чем характеризуется множественная регрессия?

множеством факторных признаков

Что такое «несовместная система уравнений»?

система уравнений, в которой точное решение какого-либо уравнения системы не удовлетворяет остальным уравнениям.

В чём заключается принцип наименьших квадратов?

наивероятнейшими значениями параметров уравнения регрессии будут такие, при которых сумма квадратов отклонений будет наименьшая.

Каким образом находятся параметры aj из системы уравнений

Наивероятнейшими значениями параметров aj будут такие значения при которых сумма квадратов отклонений будет минимальна. Для нахождения минимума функции необходимо взять частную производную по уравнению (1) по параметру aj и приравнять ее к 0

Какая функция будет линейной относительно параметров aj.

11. Каким условием в генеральной совокупности должна отвечать остаточная составляющая

( - теоретическое значение результативного признака, а - фактическое значение), чтобы МНК-оценки обладали свойствами несмещенности, состоятельности и эффективности.

1. должна отвечать следующим требованиям:

· величина является случайной величиной;

· мат.ожидание =0;

· дисперсия постоянна для всех ;

· значения не должны не зависеть друг от друга, т.е отсутствует автокорреляция

Что означает несмещенность МНК – оценки параметров уравнения регрессии?

математическое ожидание оценки равно его истинному значению;

Что означает состоятельность МНК - оценки параметров уравнения регрессии?

дисперсия оценок параметров при росте числа наблюдений стремится к нулю ;

Что означает эффективность МНК - оценки параметров уравнения регрессии?

оценки параметров уравнения регрессии имеют наименьшую дисперсию по сравнению с любыми другими оценками данных параметров;

15. Распределение остаточной компоненты в генеральной совокупности подчиняется нормальному закону распределения. Это позволяет:

использовать статистические критерии: t-критерий Стьюдента и F-критерий Фишера;

Определение

Оценка texvc не найден; См. math/README - справку по настройке.): \widehat{\theta_1} \in \Kappa параметра Невозможно разобрать выражение (Выполняемый файл texvc называется эффективной оценкой в классе Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \Kappa , если для любой другой оценки Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \widehat{\theta_2} \in \Kappa выполняется неравенство Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): M_{\theta}(\widehat{\theta_1}-\theta)^2\leqslant M_{\theta}(\widehat{\theta_2}-\theta)^2 для любого Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \theta .

Особую роль в математической статистике играют несмещенные оценки . Если несмещенная оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \widehat{\theta_1} является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной .

Единственность

Эффективная оценка Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \widehat{\theta} в классе Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \Kappa_b = \{ E(\widehat{\theta}) = c(\theta)\} , где Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): c(\theta) - некоторая функция, существует и единственна с точностью до значений на множестве Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): A , вероятность попасть в которое равна нулю (Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): P(x \in A)=0 ).

Асимптотическая эффективность

Некоторые оценки могут быть не самыми эффективными на малых выборках, однако могут обладать преимуществами на больших выборках. Обычно рассматриваются состоятельные оценки, дисперсия которых с увеличением объема выборки стремится к нулю. Поэтому сравнить такие оценки можно по скорости сходимости, то есть фактически по дисперсии (ковариационной матрицы) случайной величины (вектора) Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \sqrt{n}\hat{\theta} . В частности, асимптотически нормальная оценка

Невозможно разобрать выражение (Выполняемый файл texvc не найден; См. math/README - справку по настройке.): \sqrt{n}(\hat{\theta}-\theta)\xrightarrow d N(0,V)

является асимптотически эффективной, если асимптотическая ковариационная матрица V минимальна в данном классе оценок.

См. также

Напишите отзыв о статье "Эффективная оценка"

Отрывок, характеризующий Эффективная оценка

Довольно улыбаясь, Караффа буквально «тащил» меня за руку по длинному коридору, пока мы наконец-то не остановились у тяжёлой, украшенной узорчатой позолотой, двери. Он повернул ручку и... О, боги!!!.. Я оказалась в своей любимой венецианской комнате, в нашем родном фамильном палаццо...
Потрясённо озираясь вокруг, не в состоянии придти в себя от так неожиданно обрушившегося «сюрприза», я успокаивала своё выскакивающее сердце, будучи не в состоянии вздохнуть!.. Всё вокруг кружилось тысячами воспоминаний, безжалостно окуная меня в давно прожитые, и уже частично забытые, чудесные годы, тогда ещё не загубленные злостью жестокого человека... воссоздавшего для чего-то здесь(!) сегодня мой родной, но давно утерянный, счастливый мир... В этой, чудом «воскресшей», комнате присутствовала каждая дорогая мне моя личная вещь, каждая любимая мною мелочь!.. Не в состоянии отвести глаз от всей этой милой и такой привычной для меня обстановки, я боялась пошевелиться, чтобы нечаянно не спугнуть дивное видение...
– Нравится ли вам мой сюрприз, мадонна? – довольный произведённым эффектом, спросил Караффа.

Какая оценка параметра называется состоятельной, несмещенной, эффективной?

1) Состоятельная оценка

Состоятельная оценка в математической статистике -- это точечная оценка, сходящаяся по вероятности к оцениваемому параметру.

Определения

· Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется состоятельной, если

по вероятности при.

В противном случае оценка называется несостоятельной.

· Оценка называется сильно состоятельной, если

почти наверное при.

Свойства

· Из свойств сходимостей случайных величин имеем, что сильно состоятельная оценка всегда состоятельна. Обратное, вообще говоря, неверно.

• · Выборочное среднее является состоятельной оценкой математического ожидания X i .
• · Периодограмма является несмещённой, но несостоятельной оценкой спектральной плотности.
• 2) Несмещённая оценка

Несмещённая оценка в математической статистике -- это точечная оценка, математическое ожидание которой равно оцениваемому параметру.

Определение

Пусть -- выборка из распределения, зависящего от параметра. Тогда оценка называется несмещённой, если

В противном случае оценка называется смещённой, и случайная величина называется её смещением.

· Выборочное среднее

является несмещённой оценкой математического ожидания X i , так как если

· Пусть случайные величины X i имеют конечную дисперсию DX i = ? 2 . Построим оценки

Выборочная дисперсия,

Исправленная выборочная дисперсия.

Тогда является смещённой, а S 2 несмещённой оценками параметра? 2 .

3) Эффективная оценка

Текущая версия (не проверялась)

Определение

Оценка параметра называется эффективной оценкой в классе, если для любой другой оценки выполняется неравенство для любого.

Особую роль в математической статистике играют несмещенные оценки. Если несмещенная оценка является эффективной оценкой в классе несмещенных, то такую статистику принято называть просто эффективной.

Эффективная оценка в классе, где -- некоторая функция, существует и единственна с точностью до значений на множестве, вероятность попасть в которое равна нулю ().

Оценка параметра называется эффективной, если для неё неравенство Крамера -- Рао обращается в равенство. Таким образом, неравенство может быть использовано для доказательства того, что дисперсия данной оценки наименьшая из возможных, то есть что данная оценка в некотором смысле лучше всех остальных.

В математической статистике неравенством Крамемра -- Рамо (в честь Гаральда Крамера и К.Р. Рао) называется неравенство, которое при некоторых условиях на статистическую модель даёт нижнюю границу для дисперсии оценки неизвестного параметра, выражая её через информацию Фишера.

Для того, чтобы статистические оценки давали хорошее приближение оцениваемых параметров, они должны быть несмещенные, эффективные и состоятельные.

Несмещенной называется статистическая оценка параметра, математическое ожидание которой равно оцениваемому параметру при любом объеме выборки.

Смещенной называется статистическая оценка
параметра, математическое ожидание которой не равно оцениваемому параметру.

Эффективной называется статистическая оценка
параметра, которая при заданном объеме выборкиимеет наименьшую дисперсию.

Состоятельной называется статистическая оценка
параметра, которая при
стремится по вероятности к оцениваемому параметру.

т.е.для любого

.

Для выборок различного объема получаются различные значения среднего арифметического и статистической дисперсии. Поэтому среднее арифметическое и статистическая дисперсия являются случайными величинами, для которых существуют математическое ожидание и дисперсия.

Вычислим математическое ожидание среднего арифметического и дисперсии. Обозначим через математическое ожидание случайной величины

Здесь в качестве случайных величин рассматриваются: – С.В., значения которой равны первым значениям, полученным для различных выборок объемаиз генеральной совокупности,
–С.В., значения которой равны вторым значениям, полученным для различных выборок объемаиз генеральной совокупности, …,
– С.В., значения которой равны-м значениям, полученным для различных выборок объемаиз генеральной совокупности. Все эти случайные величины распределены по одному и тому же закону и имеют одно и то же математическое ожидание.

Из формулы (1) следует, что среднее арифметическое является несмещенной оценкой математического ожидания, так как математическое ожидание среднего арифметического равно математическому ожиданию случайной величины. Эта оценка является также состоятельной. Эффективность данной оценки зависит от вида распределения случайной величины
. Если, например,
распределена нормально, оценка математического ожидания с помощью среднего арифметического будет эффективной.

Найдем теперь статистическую оценку дисперсии.

Выражение для статистической дисперсии можно преобразовать следующим образом

(2)

Найдем теперь математическое ожидание статистической дисперсии

. (3)

Учитывая, что
(4)

получим из (3)-

Из формулы (6) видно, что математическое ожидание статистической дисперсии отличается множителем от дисперсии, т.е. является смещенной оценкой дисперсии генеральной совокупности. Это связано с тем, что вместо истинного значения
, которое неизвестно, в оценке дисперсии используется статистическое среднее.

Поэтому введем исправленную статистическую дисперсию

(7)

Тогда математическое ожидание исправленной статистической дисперсии равно

т.е. исправленная статистическая дисперсия является несмещенной оценкой дисперсии генеральной совокупности. Полученная оценка является также состоятельной.