«Хотим повысить точность прогнозирования» — это частый запрос, который можно услышать от торговых компаний. Как правило, с таким запросом приходят компании, когда у них возникают сложности в управлении товарными запасами. Это могут быть:
- излишние запасы по ряду позиций;
- дефицит ходовых товаров;
- большое количество неликвидов;
- частые ошибки в заказах и «не попадание» в прогноз.
Чаще всего вопрос о повышении точности прогноза возникает в двух случаях:
- когда компания нацелена на улучшение своих процессов;
- когда принято решение о внедрении системы управления запасами.
Во втором случае увеличение точности прогноза часто служит критерием сравнения для того, чтобы выбрать программный продукт. Тут логика обычно такая: чем выше окажется точность прогнозирования — тем лучше продукт.
Давайте разберём, почему такая цель может ввести вас в заблуждение и почему нужно быть очень аккуратным, ориентируюсь на точность прогнозирования.
От выбора метрики зависит какую точность вы получите
Точность обычно рассчитывается через ошибку прогнозирования. Формул для её расчёта много. Все они имеют свои особенности и ограничения по применимости. Разбереём некоторые из них.
RMSE (среднеквадратичная ошибка)
- Подчёркивает крупные ошибки — квадратичное усреднение усиливает влияние больших отклонений.
- Показывает волатильность — метрика растёт, если прогноз сильно отклоняется от факта.
- Чувствителен к выбросам — одна ошибка может исказить итог.
- Подходит для дорогих ошибок — например, управление запасами электроники или люксовых товаров.
- Не подходит для хаотичного спроса — промахи в пиковые периоды могут необъективно «завалить» модель.
MAE (средняя абсолютная ошибка)
- Учитывает все ошибки равномерно, без усиления влияния крупных отклонений.
- Результат в тех же единицах, что и данные — легко интерпретировать.
- Менее чувствительна к выбросам по сравнению с RMSE.
- Подходит для стабильного спроса на повседневные товары.
- Не подходит, когда крупные ошибки критичны для бизнеса.
MAPE (средняя абсолютная процентная ошибка)
- Отображает ошибки в процентах от фактических значений.
- Удобна для сравнения между товарами с разными объёмами продаж.
- Часто используется в бизнес-отчётности и на дашбордах.
- Не работает при нулевых фактических значениях.
- Смещена в сторону заниженных прогнозов — переоценка штрафуется сильнее.
- Подходит для стабильного спроса с положительными объёмами.
- Не подходит для разреженного или низкого спроса.
sMAPE (симметричная средняя абсолютная процентная ошибка)
- Снижает асимметрию MAPE за счёт деления на среднее между фактом и прогнозом.
- Уменьшает смещение в сторону заниженных прогнозов.
- Может давать нестабильные результаты при малых значениях факта и прогноза.
- Подходит для сравнения процентных ошибок при небольших объёмах прогноза.
- Не подходит для рядов с очень низким спросом — процентные ошибки искажаются.
Есть ещё MdAE (медианная абсолютная ошибка), RMSPE (среднеквадратичная процентная ошибка), относительные метрики (GMRAE, RelMAE, Theil’s U), масштабированные метрики (MASE, RMSSE) и другие ошибки прогнозирования.
У каждой из метрик есть цели и область применения. В зависимости от товаров точность будет различаться. В некоторых случаях можно просто изменить метрику и получить +20–30% к точности прогноза. И уже можно говорить о хорошем результате, хотя в процессах не поменялось ничего, а дефицит и излишки товаров всё на том же уровне.
Если ваш ассортимент — это не 300 позиций примерно одинаковых изделий с небольшими изменениями, то вам, вероятнее всего, понадобятся несколько метрик для оценки точности под разные виды товаров, условия их поставок, спроса на них и т. д.
В итоге то, что должно было быть простым критерием для оценки, превращается в сложную систему, требующую хороших знаний математики и погруженности в процессы. К сожалению, по нашему опыту, таким могут похвастаться немногие компании на рынке.
В этом контексте, без погружения в детали, фраза «Точность прогноза увеличилась на 20%» может означать всё, что угодно: как реальное ухудшение ситуации с запасами, так и реальные улучшения. А может, и отсутствие каких-то результатов.
Точнее прогноз — не значит эффективнее управление запасами
Точный прогноз сам по себе — это не финальная цель, а лишь промежуточный этап на пути к эффективному управлению остатками на складах.
Как мы разобрали выше, даже если улучшить прогнозы по ряду товарных позиций, это ещё не значит, что вы станете лучше управлять запасами. У вас могут по-прежнему быть перезатарены склады и проблемы с заказами.
Почему так происходит?
Во-первых, в реальных рыночных условиях добиться 100% практически невозможно. Значит, на этот случай нужно иметь страховой запас. Он в отличие от прогноза обычно рассчитывается по стандартному нормальному распределению. Но только около 4–6% товаров из обычного супермаркета имеют нормальное распределение (ссылка на справку), и это уже вносит большую погрешность в имеющиеся запасы.
Во-вторых, вам нужно понимать, где и в каком количестве лежат запасы. Сколько нужно хранить в торговых точках, а сколько на распределительном центре? Сколько товара нужно привезти на склад в определённую дату и как изменятся запасы к этому времени? Что случится, если будет резкий всплеск спроса или задержится поставка?
Также нужно понимать, что при прогнозировании спроса не учитываются некоторые факторы, которые влияют на запас. Например, ограничения по срокам годности продуктов.
Помимо прогноза спроса вам нужно прогнозировать запасы, их распределение и доставку. И это не менее сложная задача, в которой риски и стоимость ошибок гораздо выше, так как реальные запасы — это деньги компании.
В-третьих, когда вы делаете заказ, всегда есть некоторые ограничения: кванты поставки, минимальная партия заказа, минимальный бюджет, ограничение вместимости транспортных средств. Если минимальная партия кратна 100 единиц, то какие бы прогнозы вы ни строили в рамках 3–4 единиц, всё это оказывается неважным в итоговом заказе.
Также важно помнить о всевозможных скидках за объём либо плату за обработку строки заказов от поставщика, при которой экономически будет выгодно взять сразу больший объём и хранить на складе, нежели делать 10 заказов в соответствии с прогнозом спроса.
Даже если точность вашего прогноза спроса увеличится, это не будет означать, что процессы управления запасами стали лучше, а ситуация с дефицитом и излишками нормализовалась.
Подробнее о нюансах расчёта оптимального запаса на складах можно прочитать в статье «Почему нужно сразу моделировать заказ, а не прогнозосить спрос и запас отдельно».
Точнее прогноз — не значит больше прибыль
Как правило, ставя цель «повысить точность прогнозирования», в компании подразумевают, что должны вырасти и доходы компании. Но очень часто это не так.
Тут важно понимать, что точность прогноза — это всего лишь математическая метрика. В зависимости от того, как её считать, при одних и тех же исходных данных она может сильно различаться.
Выше мы уже разобрали, что нет прямой зависимости между точностью прогноза и эффективностью управления запасами, что как раз и влияет на доход компании.
В реальной торговле вам приходится иметь дело со множеством факторов. Нужно учесть:
- стоимость хранения товаров;
- сроки доставки;
- условия поставщиков;
- сколько товаров остаётся на складе на дату очередной доставки;
- стоимость транспортировки и перемещений;
- стоимость списаний просрочки и неликвидов;
- влияние промоакций и сезонности;
- рентабельность вложения денег в запас (может, выгоднее просто положить часть денег на депозит?);
- и другие факторы.
Основная задача в управлении запасами — найти точку баланса в количестве товаров, чтобы издержки компании были минимальны, а прибыль была максимальна. Чтобы её решить, нужно оперировать всем набором факторов. Точность прогноза только один из них, он может повлиять на конечную прибыль, а может и не повлиять.
В одном из недавних исследований оценивали влияние точности прогноза спроса на улучшение экономической эффективности. Для исследования использовались данные международного соревнования по прогнозированию M5, проведённого в 2020, в рамках которого делались прогнозы на товары Wallmart.
Главные вопросы исследования звучали так:
- Действительно ли «точность» прогноза всегда коррелирует с его добавленной стоимостью?
- Когда точность становится достаточной и дальнейшие улучшения теряют смысл?
В ходе эксперимента было смоделировано более 9,4 миллиона отдельных сценариев, и результаты оказались такими:
- В 80% случаев улучшение прогноза не влияло на принятие решений и не приводило к улучшению экономической эффективности. Это означает, что в 4 из 5 случаев затраты на улучшение точности прогнозов не окупились.
- Только в 12,6% случаев улучшение прогноза дало экономический результат, оправдывая инвестиции.
- В 7,3% случаев более точный прогноз, напротив, привёл к ухудшению экономических показателей.
Эти выводы были одинаково верны для различных метрик оценки точности прогнозов (MAPE, MAE, MSE и т. д.). Само по себе улучшение точности не гарантирует экономическую выгоду. Главный вывод исследования в том, что важна интеграция прогнозов с бизнес-решениями и их последствиями.
Подробнее о том, как связана точность прогнозирования и экономическая эффективность, мы разбираем в статьях «Почему повышение точности прогноза не гарантирует повышение прибыли» и «Точность прогнозирования или прибыль? Что нужно измерять?».
Что в итоге?
Точность прогнозирования — это очень неоднозначный и сложный показатель. Если вы готовы глубоко погрузиться в процессы, разобраться во всех нюансах управления запасами и наряду с повышением точность прогноза, например, на 20%, увидеть:
- Как это отразилось на уровне запасов;
- На сколько сократились излишки и дефицит товаров;
- Как изменился уровень сервиса;
- На сколько эти изменения повлияли на оборачиваемость;
- И главное — как изменилась прибыль.
То такая постановка цели может быть оправдана.
Если же вы не сильно погружены в процессы и не хотите этого делать, то ставить такие цели очень рискованно, так же как и опираться на этот критерий при выборе решения для управления запасами.
