Учебное пособие: Математическая статистика

Содержание

Введение

1. Предмет и методы математической статистики

2. Основные понятия математической статистики

2.1 Основные понятия выборочного метода

2.2 Выборочное распределение

2.3 Эмпирическая функция распределения, гистограмма

Заключение

Список литературы

Введение

Математическая статистика — наука о математических методах систематизации и использования статистических данных для научных и практических выводов. Во многих своих разделах математическая статистика опирается на теорию вероятностей, позволяющую оценить надежность и точность выводов, делаемых на основании ограниченного статистического материала (напр., оценить необходимый объем выборки для получения результатов требуемой точности при выборочном обследовании).

В теории вероятностей рассматриваются случайные величины с заданным распределением или случайные эксперименты, свойства которых целиком известны. Предмет теории вероятностей — свойства и взаимосвязи этих величин (распределений).

Но часто эксперимент представляет собой черный ящик, выдающий лишь некие результаты, по которым требуется сделать вывод о свойствах самого эксперимента. Наблюдатель имеет набор числовых (или их можно сделать числовыми) результатов, полученных повторением одного и того же случайного эксперимента в одинаковых условиях.

При этом возникают, например, следующие вопросы: Если мы наблюдаем одну случайную величину — как по набору ее значений в нескольких опытах сделать как можно более точный вывод о ее распределении?

Примером такой серии экспериментов может служить социологический опрос, набор экономических показателей или, наконец, последовательность гербов и решек при тысячекратном подбрасывании монеты.

Все вышеприведенные факторы обуславливают актуальность и значимость тематики работы на современном этапе, направленной на глубокое и всестороннее изучение основных понятий математической статистики.

В связи с этим целью данной работы является систематизация, накопление и закрепление знаний о понятиях математической статистики.

1. Предмет и методы математической статистики

Математическая статистика — наука о математических методах анализа данных, полученных при проведении массовых наблюдений (измерений, опытов). В зависимости от математической природы конкретных результатов наблюдений статистика математическая делится на статистику чисел, многомерный статистический анализ, анализ функций (процессов) и временных рядов, статистику объектов нечисловой природы. Существенная часть статистики математической основана на вероятностных моделях. Выделяют общие задачи описания данных, оценивания и проверки гипотез. Рассматривают и более частные задачи, связанные с проведением выборочных обследований, восстановлением зависимостей, построением и использованием классификаций (типологий) и др.

Для описания данных строят таблицы, диаграммы, иные наглядные представления, например, корреляционные поля. Вероятностные модели обычно не применяются. Некоторые методы описания данных опираются на продвинутую теорию и возможности современных компьютеров. К ним относятся, в частности, кластер-анализ, нацеленный на выделение групп объектов, похожих друг на друга, и многомерное шкалирование, позволяющее наглядно представить объекты на плоскости, в наименьшей степени исказив расстояния между ними.

Методы оценивания и проверки гипотез опираются на вероятностные модели порождения данных. Эти модели делятся на параметрические и непараметрические. В параметрических моделях предполагается, что изучаемые объекты описываются функциями распределения, зависящими от небольшого числа (1-4) числовых параметров. В непараметрических моделях функции распределения предполагаются произвольными непрерывными. В статистике математической оценивают параметры и характеристики распределения (математическое ожидание, медиану, дисперсию, квантили и др.), плотности и функции распределения, зависимости между переменными (на основе линейных и непараметрических коэффициентов корреляции, а также параметрических или непараметрических оценок функций, выражающих зависимости) и др. Используют точечные и интервальные (дающие границы для истинных значений) оценки.

В математической статистике есть общая теория проверки гипотез и большое число методов, посвященных проверке конкретных гипотез. Рассматривают гипотезы о значениях параметров и характеристик, о проверке однородности (то есть о совпадении характеристик или функций распределения в двух выборках), о согласии эмпирической функции распределения с заданной функцией распределения или с параметрическим семейством таких функций, о симметрии распределения и др.

Большое значение имеет раздел математической статистики, связанный с проведением выборочных обследований, со свойствами различных схем организации выборок и построением адекватных методов оценивания и проверки гипотез.

Задачи восстановления зависимостей активно изучаются более 200 лет, с момента разработки К. Гауссом в 1794 г. метода наименьших квадратов. В настоящее время наиболее актуальны методы поиска информативного подмножества переменных и непараметрические методы.

Разработка методов аппроксимации данных и сокращения размерности описания была начата более 100 лет назад, когда К. Пирсон создал метод главных компонент. Позднее были разработаны факторный анализ[1] и многочисленные нелинейные обобщения.

Различные методы построения (кластер-анализ), анализа и использования (дискриминантный анализ) классификаций (типологий) именуют также методами распознавания образов (с учителем и без), автоматической классификации и др.

Математические методы в статистике основаны либо на использовании сумм (на основе Центральной Предельной Теоремы теории вероятностей) или показателей различия (расстояний, метрик), как в статистике объектов нечисловой природы. Строго обоснованы обычно лишь асимптотические результаты. В настоящее время компьютеры играют большую роль в математической статистике. Они используются как для расчетов, так и для имитационного моделирования (в частности, в методах размножения выборок и при изучении пригодности асимптотических результатов).

2. Основные понятия математической статистики

2.1 Основные понятия выборочного метода

Пусть $\xi~:~\Omega \to {\textrm{\upshape I\kern-0.20em R}}$ — случайная величина, наблюдаемая в случайном эксперименте. Предполагается, что вероятностное пространство задано (и не будет нас интересовать).

Будем считать, что, проведя раз этот эксперимент в одинаковых условиях, мы получили числа , , $\ldots$ , значения этой случайной величины в первом, втором, и т.д. экспериментах. Случайная величина $\xi$ имеет некоторое распределение $\mathscr F$ , которое нам частично или полностью неизвестно.

Рассмотрим подробнее набор ${\mathbf X}=(X_1, \ldots, X_n)$ , называемый выборкой.

В серии уже произведенных экспериментов выборка — это набор чисел. Но если эту серию экспериментов повторить еще раз, то вместо этого набора мы получим новый набор чисел. Вместо числа появится другое число одно из значений случайной величины $\xi$ . То есть (и , и , и т.д.) — переменная величина, которая может принимать те же значения, что и случайная величина $\xi$ , и так же часто (с теми же вероятностями). Поэтому до опыта — случайная величина, одинаково распределенная с $\xi$ , а после опыта число, которое мы наблюдаем в данном первом эксперименте, т.е. одно из возможных значений случайной величины .

Выборка ${\mathbf X}=(X_1, \ldots, X_n)$ объема — это набор из независимых и одинаково распределенных случайных величин («копий $\xi$ »), имеющих, как и $\xi$ , распределение $\mathscr F$ .

Что значит «по выборке сделать вывод о распределении»? Распределение характеризуется функцией распределения, плотностью или таблицей, набором числовых характеристик ${\mathsf E}\,\xi$ , ${\mathsf D}\,\xi$ , ${\mathsf E}\,\xi^k$ и т.д. По выборке нужно уметь строить приближения для всех этих характеристик.

2 .2 Выборочное распределение

Рассмотрим реализацию выборки на одном элементарном исходе $\omega_0$ — набор чисел $X_1=X_1(\omega_0)$ , $\ldots$ , $X_n=X_n(\omega_0)$ . На подходящем вероятностном пространстве введем случайную величину $\xi^*$ , принимающую значения , $\ldots$ , с вероятностями по (если какие-то из значений совпали, сложим вероятности соответствующее число раз). Таблица распределения вероятностей и функция распределения случайной величины $\xi^*$ выглядят так:

$\xi^*$		$\ldots$
${\mathsf P}\,$		$\ldots$

$\begin{displaymath}F_n^*(y)=\sum\limits_{X_i <y}\dfrac{1}{n}=\dfrac{\textrm{ количество } X_i \in (-\infty, y)}{n}.\end{displaymath}$

Распределение величины $\xi^*$ называют эмпирическим или выборочным распределением. Вычислим математическое ожидание и дисперсию величины $\xi^*$ и введем обозначения для этих величин:

$\begin{displaymath}{\mathsf E}\, \xi^*=\sum\limits_{i=1}^n \dfrac{1}{n}\,X_i=\d... ...um\limits_{i=1}^n (X_i-\overline X)^2\,=\,{\color {red} S^2}.\end{displaymath}$

Точно так же вычислим и момент порядка

$\begin{displaymath}{\mathsf E}\, \left(\xi^*\right)^k=\sum\limits_{i=1}^n \dfra... ...sum\limits_{i=1}^n X_i^k \,=\,{\color {red} \overline {X^k}}.\end{displaymath}$

В общем случае обозначим через ${\color {red} \overline {g(X)}}$ величину

$\begin{displaymath}{\mathsf E}\, g(\xi^*)=\dfrac{1}{n}\sum\limits_{i=1}^n g(X_i)={\color {red} \overline {g(X)}}.\end{displaymath}$

Если при построении всех введенных нами характеристик считать выборку , $\ldots$ , набором случайных величин, то и сами эти характеристики — , $\overline X$ , , $\overline {X^k}$ , $\overline {g(X)}$ — станут величинами случайными. Эти характеристики выборочного распределения используют для оценки (приближения) соответствующих неизвестных характеристик истинного распределения.

Причина использования характеристик распределения $\xi^*$ для оценки характеристик истинного распределения $\xi$ (или ) — в близости этих распределений при больших .

Рассмотрим, для примера, подбрасываний правильного кубика. Пусть $X_i\in\{1,\ldots,6\}$ количество очков, выпавших при -м броске, $i=1, \ldots, n$ . Предположим, что единица в выборке встретится раз, двойка — раз и т.д. Тогда случайная величина $\xi^*$ будет принимать значения 1, $\ldots$ , 6 с вероятностями , $\ldots$ , соответственно. Но эти пропорции с ростом приближаются к согласно закону больших чисел. То есть распределение величины $\xi^*$ в некотором смысле сближается с истинным распределением числа очков, выпадающих при подбрасывании правильного кубика.

Мы не станем уточнять, что имеется в виду под близостью выборочного и истинного распределений. В следующих параграфах мы подробнее познакомимся с каждой из введенных выше характеристик и исследуем ее свойства, в том числе ее поведение с ростом объема выборки.

2 .3 Эмпирическая функция распределения, гистограмма

Поскольку неизвестное распределение $\mathscr F$ можно описать, например, его функцией распределения $F(y)={\mathsf P}\,(X_1<y)$ , построим по выборке «оценку» для этой функции.

Определение 1.

Эмпирической функцией распределения, построенной по выборке ${\mathbf X}=(X_1, \ldots, X_n)$ объема , называется случайная функция $F^*_n:{\textrm{\upshape I\kern-0.20em R}}\times\Omega\to [0,1]$ , при каждом $y\in{\textrm{\upshape I\kern-0.20em R}}$ равная

$\begin{displaymath}F^*_n(y)=\dfrac{\textrm{ количество } X_i\in(-\infty,y)}{n}=\frac{1}{n}\sum\limits_{i=1}^n {\mathbf I}(X_i<y).\end{displaymath}$

Напоминание: Случайная функция

$\begin{displaymath}{\mathbf I}(X_i<y)=\begin{cases}1, & \textrm{ если } X_i<y, \cr0 & \textrm{ иначе } \end{cases}\end{displaymath}$

называется индикатором события $\{X_i<y\}$ . При каждом это случайная величина, имеющая распределение Бернулли с параметром $p={\mathsf P}\,(X_i<y)=F(y)$ . почему?

Иначе говоря, при любом значение , равное истинной вероятности случайной величине быть меньше , оценивается долей элементов выборки, меньших .

Если элементы выборки , $\ldots$ , упорядочить по возрастанию (на каждом элементарном исходе), получится новый набор случайных величин, называемый вариационным рядом:

$\begin{displaymath}X_{(1)}\leqslant X_{(2)} \leqslant \ldots \leqslant X_{(n-1)}\leqslant X_{(n)}.\end{displaymath}$

Здесь

$\begin{displaymath}X_{(1)}=\min\{X_1, \ldots, X_n\}, \quad X_{(n)}=\max\{X_1, \ldots, X_n\}.\end{displaymath}$

Элемент $X_{(k)}$ , $k=1,\ldots,n$ , называется -м членом вариационного ряда или -й порядковой статистикой .

Пример 1.

Выборка: ${\mathbf X}=(0;2;1;2{,}6;3{,}1;4{,}6;1;4{,}6;6;2{,}6;6;7;9;\9;2{,}6).$

Вариационный ряд: $(0;1;1;2;2{,}6;2{,}6;2{,}6;3{,}1;4{,}6;4{,}6;6;\6;7;9;9).$

Рис. 1. Пример 1

$\begin{figure}\unitlength=1mm\begin{picture}(67.00,44.00)\put(70.00,2.00){\m... ...(55.00,33.00){\rule{0.005\unitlength}{1.00\unitlength}}\end{picture}\end{figure}$

Эмпирическая функция распределения имеет скачки в точках выборки, величина скачка в точке равна , где — количество элементов выборки, совпадающих с .

Можно построить эмпирическую функцию распределения по вариационному ряду:

$\begin{displaymath}F_n^*(y)=\begin{cases}0, & \textrm{ если } y\leqslant X_{(1... ...nt X_{(k+1)}, \cr 1 & \textrm{ при } y\gt X_{(n)}. \end{cases}\end{displaymath}$

Другой характеристикой распределения является таблица (для дискретных распределений) или плотность (для абсолютно непрерывных). Эмпирическим, или выборочным аналогом таблицы или плотности является так называемая гистограмма.

Гистограмма строится по группированным данным. Предполагаемую область значений случайной величины $\xi$ (или область выборочных данных) делят независимо от выборки на некоторое количество интервалов (не обязательно одинаковых). Пусть , $\ldots$ , интервалы на прямой, называемые интервалами группировки. Обозначим для $j=1,\,\ldots,\,k$ через $\nu_j$ число элементов выборки, попавших в интервал :

$\begin{equation}\nu_j=\{\textrm{\,число } X_i \in A_j\}=\sum\limits_{i=1}^n {\m... ...A_j), \quad \textrm{ здесь } \quad \sum\limits_{j=1}^k \nu_j = n.\end{equation}$

(1)

На каждом из интервалов строят прямоугольник, площадь которого пропорциональна $\nu_j$ . Общая площадь всех прямоугольников должна равняться единице. Пусть — длина интервала . Высота прямоугольника над равна

$\begin{displaymath}f_j=\dfrac{\nu_j}{n l_j}.\end{displaymath}$

Полученная фигура называется гистограммой.

Пример 2.

Имеется вариационный ряд (см. пример 1):

$\begin{displaymath}(0;1;1;2;2{,}6;2{,}6;2{,}6;3{,}1;4{,}6;\4{,}6;6;6;7;9;9).\end{displaymath}$

Разобьем отрезок на 4 равных отрезка. В отрезок $A_1=[0; 2{,}5)$ попали 4 элемента выборки, в $A_2=[2{,}5; 5)$ — 6, в $A_3=[5; 7{,}5)$ — 3, и в отрезок $A_4=[7{,}5; 10]$ попали 2 элемента выборки. Строим гистограмму (рис. 2). На рис. 3 — тоже гистограмма для той же выборки, но при разбиении области на 5 равных отрезков.

Рис. 2. Пример 2		Рис. 3. Пример 2
$\begin{figure} \unitlength=0.9mm \begin{picture} (63.00,35.00) \put(62.,2.00){\m... ...cc]{\scriptsize 0.1}} \put(0.00,5.00){\vector(1,0){63}}\end{picture}\end{figure}$

Замечание 1.

В курсе «Эконометрика» утверждается, что наилучшим числом интервалов группировки («формула Стерджесса») является $k = k(n) = 1+\left[3.322 {\rm ~lg~} n\right]$ .

Здесь ${\rm ~lg~} n$ — десятичный логарифм, поэтому $k = 1+ \left[\log_2 10 \log_{10} n\right] = 1+ \left[\log_2 n\right]$ , т.е. при увеличении выборки вдвое число интервалов группировки увеличивается на 1. Заметим, что чем больше интервалов группировки, тем лучше. Но, если брать число интервалов, скажем, порядка , то с ростом гистограмма не будет приближаться к плотности.

Справедливо следующее утверждение:

Если плотность распределения элементов выборки является непрерывной функцией, то при $k(n)\to\infty$ так, что $k(n)/n\to 0$ , имеет место поточечная сходимость по вероятности гистограммы к плотности.

Так что выбор логарифма разумен, но не является единственно возможным.

Заключение

Математическая (или теоретическая) статистика опирается на методы и понятия теории вероятностей, но решает в каком-то смысле обратные задачи.

Если мы наблюдаем одновременно проявление двух (или более) признаков, т.е. имеем набор значений нескольких случайных величин — что можно сказать об их зависимости? Есть она или нет? А если есть, то какова эта зависимость?

Часто бывает возможно высказать некие предположения о распределении, спрятанном в «черном ящике», или о его свойствах. В этом случае по опытным данным требуется подтвердить или опровергнуть эти предположения («гипотезы»). При этом надо помнить, что ответ «да» или «нет» может быть дан лишь с определенной степенью достоверности, и чем дольше мы можем продолжать эксперимент, тем точнее могут быть выводы. Наиболее благоприятной для исследования оказывается ситуация, когда можно уверенно утверждать о некоторых свойствах наблюдаемого эксперимента например, о наличии функциональной зависимости между наблюдаемыми величинами, о нормальности распределения, о его симметричности, о наличии у распределения плотности или о его дискретном характере, и т.д.

Итак, о (математической) статистике имеет смысл вспоминать, если

· имеется случайный эксперимент, свойства которого частично или полностью неизвестны,

· мы умеем воспроизводить этот эксперимент в одних и тех же условиях некоторое (а лучше — какое угодно) число раз.

Список литературы

1. Баумоль У. Экономическая теория и исследование операций. М.; Наука, 1999.

2. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. М.: Наука, 1995.

3. Боровков А.А. Математическая статистика. М.: Наука, 1994.

4. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. - СПБ: Издательство «Лань», 2003.

5. Коршунов Д.А., Чернова Н.И. Сборник задач и упражнений по математической статистике. Новосибирск: Изд-во Института математики им. С.Л.Соболева СО РАН, 2001.

6. Пехелецкий И.Д. Математика: учебник для студентов. - М.: Академия, 2003.

7. Суходольский В.Г. Лекции по высшей математике для гуманитариев. - СПБ Издательство Санкт-петербургского государственного университета. 2003

8. Феллер В. Введение в теорию вероятностей и ее приложения. - М.: Мир, Т.2, 1984.

9. Харман Г., Современный факторный анализ. — М.: Статистика, 1972.

[1] Харман Г., Современный факторный анализ. — М.: Статистика, 1972.