Ковариация: как две величины колеблются вместе

14 мин · 1 упражнение

В учебнике: гл. 9.2 Die Kovarianz von Zufallsgrößen

В жаркий день пляжный киоск продаёт больше и воды, и мороженого. Насколько две величины колеблются вместе, измеряет ковариация. От неё зависит разброс их суммы. Дальше в главе от неё же зависит риск портфеля.

На экзамене дают таблицу: в ней для каждой пары значений двух величин указано, как часто эта пара бывает. По такой таблице и считают, как связаны величины.

Киоск на пляже каждый вечер записывает, сколько ящиков воды и сколько ящиков мороженого он продал за день.

Два числа хозяин уже знает, а третье ищет:

  • насколько скачут продажи воды;
  • насколько скачут продажи мороженого;
  • насколько скачет общее число ящиков за день? От этого зависит, сколько товара держать в запасе.

Первое, что приходит в голову, это сложить два разброса. Но продажи растут и падают вместе, и общий итог колеблется сильнее. Насколько сильнее, показывает одно число, ковариация.

Посмотрим на три дня, каждый одинаково вероятен:

ДеньВодаМороженоеВсего
1213
2437
36511

Разброс меряют дисперсией, средним квадратом отклонения от среднего. Вода отходит от своих 4 ящиков на −2, 0 и 2, её дисперсия 4+0+43≈2.67. У мороженого тоже 2.67. Итог отходит от 7 уже на −4, 0 и 4, и его дисперсия 16+0+163≈10.67, вдвое больше суммы 2.67+2.67. Добавку дают продажи, которые идут вместе: она равна удвоенной ковариации. Значит, ковариация здесь 2.67.

Проверьте себя. Задача уровня экзамена: совместное распределение X и Y, то есть таблица вероятностей каждой пары значений, такое: P(X=0,Y=0)=0.35, P(X=0,Y=1)=0.15, P(X=2,Y=0)=0.15, P(X=2,Y=1)=0.35. Чему равна ковариация Cov⁡(X,Y), её пишут σxy?

Что показывает ковариация

Ковариацию собирают из трёх понятий главы о вероятности: случайной величины, ожидания и дисперсии. Вспомним их на том же киоске.

Число ящиков воды за день заранее неизвестно: в один день продают 1 ящик, в другой 4. Число, которое зависит от случая, называют случайной величиной («Случайная величина и её распределение»). Обозначим продажи воды буквой X, продажи мороженого буквой Y.

Пусть 1 ящик воды продают в 60 % дней, а 4 ящика в 40 %. Среднее за много дней называют ожиданием:

E(X)=1⋅0.6+4⋅0.4=2.2

Его пишут и как μx. Дисперсия V(X)=σx2 показывает разброс: это среднее квадрата отклонения от ожидания. Отклонения здесь 1−2.2=−1.2 и 4−2.2=1.8:

V(X)=0.6⋅1.44+0.4⋅3.24=2.16

Корень из дисперсии называют стандартным отклонением: σx=2.16≈1.47. В задачах дисперсию пишут и как Var⁡(X), это то же самое («Математическое ожидание и дисперсия: центр и разброс»).

Теперь сама связь. Смотрят на отклонения обеих величин от своих средних, X−μx и Y−μy, и перемножают их:

  • в жаркий день обе величины выше среднего, оба отклонения положительны, произведение положительно;
  • в холодный день обе ниже среднего, оба отклонения отрицательны, произведение снова положительно;
  • если одна выше среднего, а другая ниже, произведение отрицательно.

Среднее этого произведения называют ковариацией (нем. Kovarianz, в формулах сокращают до Cov):

σxy=Cov⁡(X,Y)=E((X−μx)(Y−μy))

На рисунке десять дней другого, большого киоска: эти данные нужны только для картинки, дальше в статье снова наш киоск. Каждая точка это пара (вода, мороженое) за один день, пунктиром средние μx=5 и μy=5. Шесть точек из десяти лежат слева внизу или справа вверху, где произведение отклонений положительно. Знак зависит от самих произведений, а не от числа точек: четыре дальние точки дают по 6, две ближние по 2, а остальные четыре в сумме всего −5. Поэтому ковариация положительна.

Каждая точка это один день. Пунктир делит поле по средним; посмотрите, сколько точек лежит слева внизу и справа вверху, где оба отклонения одного знака0510510XYμx = 5μy = 5оба выше: произведение > 0оба ниже: произведение > 0одно выше,другое ниже: < 0

Если бы точки лежали в основном слева вверху и справа внизу, ковариация была бы отрицательной: одна величина растёт, когда другая падает. Если точки разбросаны по всем четырём углам поровну, ковариация близка к нулю. Два свойства следуют прямо из определения:

  • ковариация величины с самой собой это её дисперсия: Cov⁡(X,X)=σx2;
  • порядок не важен: Cov⁡(X,Y)=Cov⁡(Y,X).

Ковариация по таблице

Вернёмся к пляжному киоску. Для каждой пары «сколько воды, сколько мороженого» известно, как часто она бывает. Такая таблица называется совместным распределением (нем. gemeinsame Verteilung):

Y=0Y=2
X=10.40.2
X=40.20.2

Например, 0.2 справа вверху значит: в 20 % дней продают 1 ящик воды и 2 ящика мороженого. Суммы строк дают распределение одной X: P(X=1)=0.4+0.2=0.6, P(X=4)=0.4. Суммы столбцов дают распределение одной Y: P(Y=0)=0.6, P(Y=2)=0.4. Их называют частными распределениями (нем. Randverteilungen).

Считать ковариацию по определению долго. Раскроем скобки в нём:

(X−μx)(Y−μy)=X⋅Y−μy⋅X−μx⋅Y+μx⋅μy

Ожидание суммы равно сумме ожиданий, а E(X)=μx и E(Y)=μy. Ожидания четырёх слагаемых: E(X⋅Y), затем −μx⋅μy, ещё раз −μx⋅μy и +μx⋅μy. Сумма:

E(X⋅Y)−μx⋅μy−μx⋅μy+μx⋅μy=E(X⋅Y)−μx⋅μy

Минус μx⋅μy стоит дважды, плюс один раз, в итоге остаётся один минус. Это формула сдвига:

σxy=E(X⋅Y)−E(X)⋅E(Y)

По суммам строк: E(X)=1⋅0.6+4⋅0.4=2.2.

По суммам столбцов: E(Y)=0⋅0.6+2⋅0.4=0.8. Разброс так же, как у X: V(Y)=0.6⋅0.64+0.4⋅1.44=0.96, σy=0.96≈0.98.

Каждая клетка даёт «значение X на значение Y на вероятность клетки»:

1⋅0⋅0.4+1⋅2⋅0.2+4⋅0⋅0.2+4⋅2⋅0.2=0+0.4+0+1.6=2.

σxy=2−2.2⋅0.8=2−1.76=0.24. Она положительна: в дни с большим спросом на воду мороженого тоже продают больше.

Независимость. Две величины независимы, если значение одной не меняет вероятностей другой. У независимых величин E(X⋅Y)=E(X)⋅E(Y), и ковариация равна нулю. Обратное неверно. Пусть X равно −1, 0 или 1 с вероятностью 13 каждое, а Y=X2:

X−101
Y=X2101
X⋅Y−101

E(X)=−1+0+13=0 и E(X⋅Y)=−1+0+13=0, поэтому ковариация 0−0⋅E(Y)=0, хотя Y целиком определяется по X.

Дисперсия суммы

Теперь можно ответить хозяину киоска. Дисперсия суммы это среднее квадрата её отклонения. Обозначим отклонения dx=X−μx и dy=Y−μy, тогда отклонение суммы равно dx+dy. Квадрат раскрывается, как (a+b)2=a2+2a⋅b+b2:

(dx+dy)2=dx2+2 dx⋅dy+dy2

Средние трёх слагаемых: σx2, 2σxy и σy2. Удвоенное произведение из школьной формулы и даёт ковариацию:

V(X+Y)=σx2+σy2+2σxy,V(X−Y)=σx2+σy2−2σxy

Для X−Y вместо dy стоит −dy: квадрат dy2 не меняется, а удвоенное произведение меняет знак. Поэтому в V(X−Y) дисперсии всё равно складываются.

У киоска V(X)=2.16, V(Y)=0.96 и σxy=0.24. Сравним два ответа хозяину:

  • с ковариацией: V(X+Y)=2.16+0.96+2⋅0.24=3.6;
  • простым сложением: 2.16+0.96=3.12.

Оба товара растут вместе, поэтому общее число ящиков колеблется сильнее, чем подсказывает простое сложение. Если бы величины были независимы, ковариация была бы 0, и дисперсии просто сложились бы.

Корреляция

Ковариация зависит от единиц: посчитанная в евро и в центах, она даёт разные числа. По ней не видно, сильная связь или слабая. Коэффициент корреляции (нем. Korrelationskoeffizient) делит её на оба стандартных отклонения и поэтому всегда лежит между −1 и 1:

ρ=σxyσx⋅σy,σxy=ρ⋅σx⋅σy

ρ=1 значит, что точки лежат на одной растущей прямой, ρ=−1 на падающей, а при ρ=0 ковариация нулевая. У киоска ρ=0.241.47⋅0.98≈0.17: связь положительная, но слабая.

Для другой пары величин, не для киоска, числа круглые: σx2=16, σy2=25, σxy=−6. Стандартные отклонения 4 и 5, поэтому ρ=−64⋅5=−0.3: величины слабо идут в разные стороны.

Ловушка. Разделить на дисперсии: −616⋅25=−0.015. Если дана корреляция, а в формуле нужна ковариация, сначала умножьте ρ на оба стандартных отклонения; подставлять само ρ нельзя.

Ковариация по совместному распределению

Формула сдвига, дисперсия суммы и корреляция разобраны каждая на своём примере. В экзаменационной задаче две из них идут цепочкой от одной таблицы вероятностей:

Задача как на экзамене

Zwei Filialen einer Handelskette melden täglich die Zahl der Reklamationen X beziehungsweise Y. Die gemeinsame Verteilung ist:

Y=1Y=3X=00.30.2X=20.10.4

Berechnen Sie die Varianz der Gesamtzahl X+Y.

  1. a)2.36
  2. b)1.96
  3. c)7.16
  4. d)2.76
  5. e)1.16

Задачу выдаёт таблица совместных вероятностей, как у пляжного киоска. Спрашивают ковариацию, корреляцию или, как здесь, дисперсию суммы. Ковариацию считают по формуле сдвига, а потом подставляют в V(X+Y).

клетка это вероятность пары: X = 2 и Y = 3 вместе с вероятностью 0.4

Совместная таблица жалоб: сначала клетки, потом суммы строк и столбцов, потом строка X = 2 для E(XY)Y = 1Y = 3всегоX = 0X = 2всего0.30.20.10.4
Шаг 1 из 5Прочитать таблицу

Клетка таблицы это вероятность пары значений: X=2 и Y=3 бывают вместе с вероятностью 0.4. Четыре клетки вместе дают 1.

Вопрос к себе: почему клетки строки X=0 можно не считать?

Копицентр каждый день считает поломки принтера X и жалобы клиентов Y. Нужна дисперсия общего числа обращений X+Y.

Y=1Y=2Y=3
X=00.30.150.05
X=10.050.150.3

Строки дают 0.5 и 0.5: E(X)=0.5, V(X)=0.5−0.25=0.25.

Столбцы дают 0.35, 0.3, 0.35: E(Y)=0.35+0.6+1.05=2, E(Y2)=0.35+1.2+3.15=4.7, V(Y)=0.7.

Только строка X=1: 1⋅0.05+2⋅0.15+3⋅0.3=1.25.

σxy=1.25−0.5⋅2=0.25, V(X+Y)=0.25+0.7+2⋅0.25=1.45.

Распределение задано списком. У двух величин такое совместное распределение: P(X=1,Y=0)=0.25, P(X=1,Y=1)=0.25, P(X=3,Y=0)=0.15, P(X=3,Y=1)=0.35. Найдите Cov⁡(X,Y).

Строки дают P(X=1)=0.5 и P(X=3)=0.5, значит, E(X)=2. Столбец Y=1 даёт 0.25+0.35=0.6, значит, E(Y)=0.6.

Посчитайте E(X⋅Y) по клеткам и вычтите E(X)⋅E(Y).

Ваша очередь1 из 1

Совместное распределение X и Y: P(1,0)=0.05, P(1,2)=0.45, P(3,0)=0.45, P(3,2)=0.05, где P(x,y)=P(X=x,Y=y). Чему равна Cov⁡(X,Y)?

Ловушки. В задаче пять вариантов: (a) 2.36, (b) 1.96, (c) 7.16, (d) 2.76, (e) 1.16. Верный (d). Откуда берутся неверные:

  • Ковариация забыта, вариант (b), 1.96: сложили только дисперсии, 1+0.96, как для независимых величин. Проверка: здесь σxy=0.4, не ноль.
  • Ковариация один раз, вариант (a), 2.36: 1+0.96+0.4. Удвоенное произведение в квадрате суммы даёт 2σxy.
  • E(X⋅Y) вместо ковариации, вариант (c), 7.16: 1+0.96+2⋅2.6. Из E(X⋅Y) ещё вычитают E(X)⋅E(Y).
  • Минус вместо плюса, вариант (e), 1.16: 1+0.96−0.8, это V(X−Y). Спрашивают сумму.

На формульном листе этого нет. Запомнить: σxy=E(X⋅Y)−E(X)⋅E(Y); суммы строк и столбцов дают распределения одной X и одной Y.

Коротко: ковариация, дисперсия суммы, корреляция

Тема за минуту

  • Ковариация: среднее произведения отклонений, она положительна, если величины чаще растут вместе. По формуле сдвига:
σxy=Cov⁡(X,Y)=E(X⋅Y)−E(X)⋅E(Y)
  • Независимость: независимы ⇒ σxy=0. Обратное неверно.
  • Сумма и разность: в V(X−Y) дисперсии всё равно складываются, меняется только знак ковариации:
V(X±Y)=σx2+σy2±2σxy
  • Корреляция: всегда −1≤ρ≤1; делят на стандартные отклонения, а не на дисперсии:
ρ=σxyσx⋅σy
  • Ковариация по совместному распределению

    Таблица даёт вероятность каждой пары значений X и Y; спрашивают ковариацию, корреляцию или V(X+Y).
    σxy=E(XY)−E(X)⋅E(Y)

    Ловушка: дать E(X⋅Y) как ковариацию или забыть 2σxy в дисперсии суммы.

С множителями, как в 2X−3Y, формула для суммы меняется; как именно, в статье «Комбинации aX + bY: как веса входят в дисперсию и ковариацию».

Карточки для запоминания

Нажмите на карточку, чтобы увидеть формулу. Все карточки по темам

Формула

Как посчитать σxy по совместному распределению?

Формула

В каких пределах должна лежать ковариация?

Теперь потренируйтесь

Ковариация: как две величины колеблются вместе

Тренажёр · Ковариация и портфель

Тренироваться
Дальше: Комбинации aX + bY: как веса входят в дисперсию и ковариацию
0/1

Эта статья была полезной?