Качество прогноза не зависит от

Содержание
  1. Точность прогнозирования
  2. Классификация методов и моделей прогнозирования
  3. В чем разница между методом и моделью прогнозирования?
  4. Сначала классифицируем методы
  5. Далее сделаем общую классификация моделей
  6. Классифицируем модели временных рядов
  7. Общая классификация
  8. 3 способа оценки точности прогноза и выбора оптимальной модели?
  9. 1-й способ — Расчет отношения фактических продаж к прогнозу.
  10. Для каждой из 4-х прогнозных моделей в листе «Оценка моделей»:
  11. 2-й способ оценки модели прогноза — расчет показателя точность прогноза.
  12. 3. Способ оценки прогнозной модели — визуальный.
  13. Какую модель прогноза выбрать?
  14. Точных прогнозов!
  15. Присоединяйтесь к нам!
  16. Зарегистрируйтесь и скачайте решения
  17. Статья полезная? Поделитесь с друзьями
  18. Комментарии
  19. Что влияет на точность прогнозирования временного ряда?
  20. Качественные характеристики временного ряда
  21. Модели прогнозирования
  22. Квалификация эксперта
  23. Доступность программно-аппаратных средств

Точность прогнозирования

Любому человеку, который занимается прогнозированием продаж, важно и необходимо оценивать корректность своих прогнозов. Для этого существует такой показатель, как «Точность прогнозирования». В данной статье именно о нем я и расскажу.

Хочу обратить внимание на то, что в некоторых компаниях данный показатель называют «Аккуратность прогнозирования». Не могу сказать, что это неправильно, но в данной статье будет фигурировать именно «Точность прогнозирования». Ведь мы оцениваем насколько точно наш прогноз совпадает с фактическими значениями, а не аккуратность, с которой мы его высчитывали.

Точность прогнозирования — это показатель, который характеризует качество прогноза. Он отражает насколько сформированный прогноз совпадает с истинными фактическими значениями.

«Точность прогнозирования»: формула, разновидности «ошибок прогноза».

Итак, чтобы рассчитать точность прогнозирования, необходимо сначала рассчитать ошибку прогнозирования в процентах, а затем, вычесть ее из 100%:

В качестве основной ошибки для расчета точности прогнозирования мы будем использовать Взвешенную Абсолютную Процентную Ошибку (WAPE — Weighted Absolute Percent Error), которая рассчитывается по формуле:

То есть: сумма всех отклонений прогноза от факта по модулю, деленное на сумму всех фактов и умноженное на 100%.

Важно! Если ошибка прогнозирования больше 100%, то точность прогнозирования всегда будет равна 0%.

Вообще, помимо WAPE (которую также называют MAD-Mean Ratio), существует множество ошибок, которые мы можем использовать в качестве основной ошибки для расчета точности прогнозирования. Например:

И так далее (более подробно смотрите здесь). Однако при расчете точности прогнозирования, WAPE — наиболее оптимальный вариант ошибки, так как он наименее чувствителен к выбросам и искажениям, а также интуитивно-понятен и прост в расчете. В общем, WAPE — наш выбор!

Итоговая формула примет вид:

Про другие ошибки здесь я писать не буду, потому что и использовать мы их не будем, но если у Вас есть желание ознакомиться с ними, рекомендую к прочтению статьи «A survey of forecast error measures» и «Another look at measures of forecast accuracy», а также книгу «Forecasting: Principles and Practice». К сожалению, русскоязычной информации на просторах всемирной сети на эту тематику не очень много, поэтому для изучения материала необходимы минимальные знания английского языка.

Примеры расчета точности прогнозирования:

Итак, формула расчета точности у нас есть, теперь мы перейдем непосредственно к примеру расчета:

Все просто. У нас есть исходные данные: SKU, факт продаж и прогноз продаж. Для каждого SKU мы находим отклонения по модулю (|факт-прогноз|), а затем суммируем их, получаем 126. Затем суммируем все фактические показатели, получаем 468. Находим ошибку прогнозирования: делим сумму отклонений на сумму фактических показателей — 126/468 = 0,269, то есть 27%. И вычитаем значение ошибки прогнозирования из 100% и получаем точность 73%. Средний результат.

Также, бывают ситуации, когда необходимо рассчитать не общую точность по всем номенклатурам, а отдельно по каждому клиенту (или номенклатурной группе, или по каналам продаж и т.д.). На таблице ниже изображен изображен именно такой пример:

Суть расчетов не меняется, только теперь находим сумму отклонений и сумму фактов для каждого из клиентов по отдельности. Для первого клиента ошибка прогнозирования равна 126/468 = 27%, соответственно точность равна 73% (то же самое, что и в первом примере), а для второго клиента ошибка прогнозирования равна 206/662 = 31%, и точность равна 69%.

В общем-то и все. Мы нашли точность прогнозирования отдельно для списка SKU и отдельно по каждому клиенту. Важно(!) помнить некоторые правила:

Файл с примерами из статьи можно скачать здесь.

Источник

Классификация методов и моделей прогнозирования

Я занимаюсь прогнозированием временных рядов уже более 5 лет. В прошлом году мною была защищена диссертация по теме «Модель прогнозирования временных рядов по выборке максимального подобия», однако вопросов после защиты осталось порядочно. Вот один из них — общая классификация методов и моделей прогнозирования.

Обычно в работах как отечественных, так и англоязычных авторы не задаются вопросом классификации методов и моделей прогнозирования, а просто их перечисляют. Но мне кажется, что на сегодняшний день данная область так разрослась и расширилась, что пусть самая общая, но классификация необходима. Ниже представлен мой собственный вариант общей классификации.

В чем разница между методом и моделью прогнозирования?

Метод прогнозирования представляет собой последовательность действий, которые нужно совершить для получения модели прогнозирования. По аналогии с кулинарией метод есть последовательность действий, согласно которой готовится блюдо — то есть сделается прогноз.

Модель прогнозирования есть функциональное представление, адекватно описывающее исследуемый процесс и являющееся основой для получения его будущих значений. В той же кулинарной аналогии модель есть список ингредиентов и их соотношение, необходимый для нашего блюда — прогноза.

Читайте также:  Лучший сайт спортивных прогнозов бесплатно

Совокупность метода и модели образуют полный рецепт!

В настоящее время принято использовать английские аббревиатуры названий как моделей, так и методов. Например, существует знаменитая модель прогнозирования авторегрессия проинтегрированного скользящего среднего с учетом внешнего фактора (auto regression integrated moving average extended, ARIMAX). Эту модель и соответствующий ей метод обычно называют ARIMAX, а иногда моделью (методом) Бокса-Дженкинса по имени авторов.

Сначала классифицируем методы

Если посмотреть внимательно, то быстро выясняется, что понятие «метод прогнозирования» гораздо шире понятия «модель прогнозирования». В связи с этим на первом этапе классификации обычно делят методы на две группы: интуитивные и формализованные [1].

Если мы вспомним нашу кулинарную аналогию, то и там можно разделить все рецепты на формализованные, то есть записанные по количеству ингредиентов и способу приготовления, и интуитивные, то есть нигде не записанные и получаемые из опыта кулинара. Когда мы не пользуемся рецептом? Когда блюдо очень просто: пожарить картошку или сварить пельмени — тут рецепт не нужен. Когда еще мы не пользуемся рецептом? Когда желаем изобрести что-то новенькое!

Интуитивные методы прогнозирования имеют дело с суждениями и оценками экспертов. На сегодняшний день они часто применяются в маркетинге, экономике, политике, так как система, поведение которой необходимо спрогнозировать, или очень сложна и не поддается математическому описанию, или очень проста и в таком описании не нуждается. Подробности о такого рода методах можно глянуть в [2].

Формализованные методы — описанные в литературе методы прогнозирования, в результате которых строят модели прогнозирования, то есть определяют такую математическую зависимость, которая позволяет вычислить будущее значение процесса, то есть сделать прогноз.

На этом общая классификация методов прогнозирования на мой взгляд может быть закончена.

Далее сделаем общую классификация моделей

Здесь необходимо переходить к классификации моделей прогнозирования. На первом этапе модели следует разделить на две группы: модели предметной области и модели временных рядов.

Модели предметной области — такие математические модели прогнозирования, для построения которых используют законы предметной области. Например, модель, на которой делают прогноз погоды, содержит уравнения динамики жидкостей и термодинамики. Прогноз развития популяции делается на модели, построенной на дифференциальном уравнении. Прогноз уровня сахара крови человека, больного диабетом, делается на основании системы дифференциальных уравнений. Словом, в таких моделях используются зависимости, свойственные конкретной предметной области. Такого рода моделям свойственен индивидуальный подход в разработке.

Модели временных рядов — математические модели прогнозирования, которые стремятся найти зависимость будущего значения от прошлого внутри самого процесса и на этой зависимости вычислить прогноз. Эти модели универсальны для различных предметных областей, то есть их общий вид не меняется в зависимости от природы временного ряда. Мы можем использовать нейронные сети для прогнозирования температуры воздуха, а после аналогичную модель на нейронных сетях применить для прогноза биржевых индексов. Это обобщенные модели, как кипяток, в которые если бросить продукт, то он сварится вне зависимости от его природы.

Классифицируем модели временных рядов

Мне кажется, что составить общую классификацию моделей предметной области не представляется возможным: сколько областей, столько и моделей! Однако модели временных рядов легко поддаются простому делению [3]. Модели временных рядов можно разделить на две группы: статистические и структурные.

Для обоих групп я указала основные, то есть наиболее распространенные и подробно описанные модели прогнозирования. Однако на сегодняшний день моделей прогнозирования временных рядов имеется уже громадное количество и для построения прогнозов, например, стали использовать SVM (support vector machine) модели, GA (genetic algorithm) модели и многие другие.

Общая классификация

Таким образом мы получили следующую классификацию моделей и методов прогнозирования.

UPD. 15.11.2016.
Господа, дошло до маразма! Недавно мне прислали на рецензию статью для ВАКовского издания со ссылкой на эту запись. Обращаю внимание, что ни в дипломах, ни в статьях, ни тем более в диссертациях ссылаться на блог нельзя! Если хотите ссылку, то используйте эту: Чучуева И.А. МОДЕЛЬ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ ПО ВЫБОРКЕ МАКСИМАЛЬНОГО ПОДОБИЯ, диссертация… канд. тех. наук / Московский государственный технический университет им. Н.Э. Баумана. Москва, 2012.

Источник

3 способа оценки точности прогноза и выбора оптимальной модели?

Существует множество моделей прогноза, но как выбрать среди них ту, которая наиболее точно сделает прогноз?

Из данной статьи вы узнаете:

Какие способы оценки прогнозной модели вы можете использовать:

1. Оценить отношение фактических продаж к прогнозу;

2. Расчет показателя точность прогноза — оценка на сколько точно выбранная модель описывает анализируемые данные;

3. Графический анализ — строим график и визуально оцениваем адекватность модели прогноза относительно фактических продаж за последний период ;

1-й способ — Расчет отношения фактических продаж к прогнозу.

Рассчитаем прогноз 4 способами на полгода. Протестируем следующие модели:

Логарифмический тренд + сезонность — лист «Логарифмический» в приложенном файле (см. статью «5 способов расчета значений логарифмического тренда»)

Скользящая средняя с сезонностью к 2-м месяцам — лист «Скользящая к 2-м» (см. статью «Как рассчитать прогноз по методу скользящей средней»);

Скользящяя средняя с сезонностью к 3-м месяцам — лист «Скользящая к 3-м»;

Для каждой из 4-х прогнозных моделей в листе «Оценка моделей»:

Суммируем прогноз по каждой модели за 6 месяцев;

Суммируем фактические продажи, которые мы будем сравнивать с прогнозом;

Читайте также:  Лучшая школа магии в россии

Рассчитываем отношение факта к прогнозу по каждой позиции для каждой модели;

Рассчитываем по каждой модели среднее отношение факта к прогнозу;

Выбираем модель прогноза, которая по показателю «среднее отношение факта к прогнозу» оказалась максимально приближена к 100%;

Для наших данных самой точной моделью оказалась скользящая средняя к 3-м месяцам с сезонностью, среднее отклонение факта от прогноза 97%.

Мы протестировали каждую модель прогноза на реальных данных и выбрали для себя оптимальную, которая в среднем показала минимальное отклонение от факлических продаж.

2-й способ оценки модели прогноза — расчет показателя точность прогноза.

Показатель точность прогноза показывает, на сколько точно выбранная модель прогноза описывает данные. Идея в том, чем точнее выбранная модель описывает фактические данные, тем точнее она сделает прогноз.

Как рассчитать точность прогноза? Рассмотрим на примере расчета для модели прогноза с линейным трендом и сезонностью.

1. Рассчитываем значения прогнозной модели для каждого анализируемого момента времени в прошлом.

Для этого значения тренда для анализируемых периодов умножаем на выровненные коэффициенты сезонности (см. файл с примером)

2. Рассчитываем ошибку прогнозной модели. Для этого за каждый период от фактических значений вычитаем значения прогнозной модели.

3. Рассчитываем квадратическое отклонение ошибки от значений прогнозной модели (см. файл с примером);

4. Рассчитываем среднее значение квадратического отклонения, т.е. среднеквадратическое отклонение

5. Точность прогноза = (1- среднеквадратическое отклонение ошибки прогнозной модели)*100 (см. файл с примером).

Показатель точности прогноза выражается в процентах:

Если точность прогноза равна 100%, то выбранная модель описывает фактические значения на 100%, т.е. очень точно.

Если 0% или отрицательное число, то совсем не описывает, и данной модели доверять не стоит.

Выбрать подходящую модель прогноза можно с помощью расчета показателя точность прогноза. Модель прогноза, у которой показатель точность прогноза будет ближе к 100%, с большей вероятностью сделает более точный прогноз. Такую модель можно назвать оптимальной для выбранного временного ряда.

3. Способ оценки прогнозной модели — визуальный.

Линейная модель:

Логарифмическая модель:

По последним периодам видно, что линейная модель более точно описывает данные за последние месяцы, и она, вероятнее всего, сделает более точный прогноз.

Какую модель прогноза выбрать?

1. Которая на основании тестирования на реальных данных для выбранного промежутка времени (месяца, 3-х месяцев, полугода, года) будет делать максимально точный прогноз, т.е. отношение факта к прогнозу будет близко к 1 или 100%.

2. Модель, которая будет максимально точно описывать фактические данные, т.е. показатель точность прогноза будет приближаться к 1, но не всегда модели точно описывающие данные делают адекватные прогнозы (это надо понимать и оценивать графически).

3. Модель, которой визуально вы больше доверяете с точки зрения описания входящих данных и продления прогнозной модели в будущее.

Для повышения точности прогноза я в своей практике стараюсь использовать 3 этих способа параллельно:

По завершении прогнозного периода и в промежутках всегда оцениваю отношение фактических продаж к прогнозу.

При построении прогноза анализирую показатель «среднеквадратическое отклонение» и рассчитываю показатель «точность прогноза» для оценки данных и модели.

А также на график вывожу анализируемые данные и прогнозную модель, для визуального контроля.

Оценивая прогноз по факту или в промежуточные периоды в случае значительных отклонений фактических продаж от прогнозных, разбираю ситуацию и выясняю причины, в случае необходимости вношу корректировки в прогнозную модель.

С помощью программы Forecast4AC PRO вы можете рассчитать показатель точность прогноза автоматически.

Также Forecast4AC умеет автоматически выбирать оптимальную модель прогноза для каждого временного ряда.

+ одним нажатием строить график «Анализируемые данные + модель прогноза», на котором вы можете оценить, как соотносятся между собой:

как в анализируемом периоде, так и в будущем.

Точных прогнозов!

Присоединяйтесь к нам!

Скачивайте бесплатные приложения для прогнозирования и бизнес-анализа:

Тестируйте возможности платных решений:

Получите 10 рекомендаций по повышению точности прогнозов до 90% и выше.

Зарегистрируйтесь и скачайте решения

Статья полезная? Поделитесь с друзьями

Комментарии

Коллеги, почему нельзя просто:
1) ABS (Прогноз-Факт) = Ошибка;
2) 1-ошибка/Факт = Точность.
.

Алексей, добрый день!

Точность измеряется в процентах, поэтому ошибку тоже необходимо получить в процентах.

А если говорить про упрощение, то можно и без точности, просто ошибку оценить:
1) ABS (Прогноз-Факт) = Ошибка;

Коллеги, почему нельзя просто:
1) ABS (Прогноз-Факт) = Ошибка;
2) 1-ошибка/Факт = Точность.
.

Алексей, добрый день!

Точность измеряется в процентах, поэтому ошибку тоже необходимо получить в процентах.

А если говорить про упрощение, то можно и без точности, просто ошибку оценить:
1) ABS (Прогноз-Факт) = Ошибка;

Так в данном случае точность и будет в процентах

Заранее спасибо за ответ

Например, по сумме будет правильнее оценивать точность, когда существует перетекание продаж из-за отложенного спроса.
Если рассмотреть классические источники расчета ошибок (книги по прогнозированию), то везде ошибки и точность оценивается по средней. Но мой опыт показывает, что в некоторых ситуациях с помощью оценки по сумме удаются подобрать более точную модель.

2. На n мы делим, если рассматривается вся генеральная совокупность данных.

На n-1, если анализируется не весь массив имеющихся данных, а определенная выборка.

Чаще это выборка, поэтому n-1

Если есть вопросы, пишите, буду рад помочь.

Коллеги, почему нельзя просто:
1) ABS (Прогноз-Факт) = Ошибка;
2) 1-ошибка/Факт = Точность.
.

Источник

Что влияет на точность прогнозирования временного ряда?

Точность прогнозирования временного ряда – величина, зависящая от качественных характеристик временного ряда, выбранных моделей прогнозирования, квалификации эксперта, доступности программно-аппаратных средств для реализации алгоритмов модели и других факторов.

Читайте также:  Любовный гороскоп 2017 рыбы видео

Качественные характеристики временного ряда

Временные ряды описывают реальные физические и экономические процессы, характеристики временных рядов зависят от свойств описываемого процесса.

Например, процесс энергопотребления является регулярным, постоянным – это видно даже не специалисту (взгляните на наши «Примеры прогнозов»), а потому прогнозируется с высокой точностью. Для прогноза энергопотребления ошибка (MAPE) изменяется обычно в диапазонах от 1 до 5%. Причем замечено, что, чем большие объемы энергопотребления требуется прогнозировать, тем выше будет точность, так как у больших объемов более стабильные свойства процесса.

Временной ряд цен РСВ куда менее регулярный, чем ряд энергопотребления – и это тоже может увидеть не специалист (по той же ссылке «Примеры прогнозов»). Точность прогноза цен РСВ всегда в среднем будет ниже точности прогноза энергопотребления. На ОРЭМ цены достаточно волатильны, однако в целом не так волатильны, как на западных рынках. Я исследовала временные ряды цен рынка на сутки вперед (day ahead market) энергорынков Канады (Ontario market), Скандинавии (NordPool), Испании (Spain market), Америки (PJM). Некоторые временные ряды цен этих рынков вы можете найти у нас на форуме в примерах временных рядов.В процессе работы с западными ценами обратила внимание, что их структура отличается от структуры цен РСВ на ОРЭМ: она менее регулярна, всплески цен значительно выше, их больше, ошибка прогнозирования таких цен находится в диапазоне от 5 до 15%, что по оценкам тамошних экспертов является достаточным для финансового планирования. Для ОРЭМ реален прогноз цен РСВ со средней ошибкой 5 – 8%.

Важно понимать, что точность прогнозирования, главным образом, есть характеристика временного ряда и для каждого временного ряда, будь то цены РСВ или энергопотребление, существует некоторый предел, точнее которого в среднем за период спрогнозировать нельзя. Не стоит пенять на математические модели и специалистов там, где задача не имеет решения: нельзя прогнозировать с нулевой ошибкой.

Модели прогнозирования

Ранее я сделала первый обзор существующих моделей прогнозирования временных рядов. Нужно понимать, что каждая модель на «свой манер» улавливает закономерности временного ряда. Которая из приведенного списка моделей лучше улавливает и, как следствие, точнее прогнозирует, однозначно сказать нельзя. Нужно ясно понимать, что математическая модель — есть инструмент формирования прогнозов, так же как молоток есть инструмент для забивания гвоздей. И очевидно, что не всегда качество забивания гвоздя зависит от молотка, более того, качество забивания гвоздя лишь в некоторой степени зависит от качества молотка, но в гораздо большей степени зависит от человека, в чьих руках инструмент находится.

Модели прогнозирования как люди – у каждой свои достоинства и недостатки. В настоящее время существует множество моделей прогнозирования временных рядов: регрессионные и авторегрессионные модели, нейросетевые модели, модели экспоненциального сглаживания и др. Перечень моделей и методов прогнозирования я уже приводила. Наиболее популярными и широко используемыми являются классы авторегрессионных и нейросетевых моделей прогнозирования. Главным недостатком авторегрессионных моделей является большое число свободных параметров, определение которых неоднозначно и ресурсоемко. Главным недостатком нейронных сетей является недоступность промежуточных вычислений, выполняющихся в «черном ящике», и, как следствие, сложность интерпретации результатов моделирования. Кроме того, еще одним недостатком нейронных сетей является сложность выбора алгоритма обучения.

Класс модели, сложность и корректность программной реализации ее алгоритмов, доступность аппаратных средств для проведения исследования – лишь часть факторов, оказывающих влияние на точность прогнозирования.

Квалификация эксперта

Это, пожалуй, главный фактор после качественных характеристик временного ряда, влияющий на точность прогноза. Как и в истории с гвоздем и молотком, главным является человек — он оценивает характеристики временного ряда, он выбирает модель прогнозирования, он ее реализовывает на той программной платформе, которой владеет, он производит постоянную донастройку алгоритмов, он следит за качеством прогноза и именно он задается вопросом о том, как повысить точность прогнозирования.

И для всех этих работ нужны опыт и знания в области анализа временных рядов. Тот же самый специалист должен понимать и четко различать модели прогнозирования, зная на практике достоинства и недостатки каждой, а для этого их нужно реализовать. Тот же специалист должен владеть в той или иной мере программными продуктами, такими как STATISTICA, SAS, SPSS, MATLAB, а также иметь навыки программирования. Не математик тот, кто считает в MS Excel и больше ничего не знает! Тот же специалист должен следить за качеством прогноза, обладать соответствующими компетенциями в области оценки моделей, понимать предметную область. Тот же специалист должен располагать временем для проведения научно-исследовательских работ, направленных на автоматизацию процесса прогнозирования или повышение точности прогнозирования. Словом, это должен быть не человек, а просто чудо, которое все знает, понимает и умеет. И от квалификации такого чуда и зависит во многом точность прогнозирования и, как следствие, финансовый результат компании на рынке.

Доступность программно-аппаратных средств

Доступность всякого рода средств, таких как сложные математические пакеты, мощные вычислительные машины, временные ресурсы для проведения исследований также в той или иной степени влияют на точность прогнозирования. Безусловно, этот фактор не является главенствующим, однако располагать необходимыми программными и аппаратными средствами весьма желательно, если стоит задача повышения точности прогнозирования.

Источник

Поделиться с друзьями
Блог о здоровье и полезных жизненных советах