Потребители на AWS по целия свят останаха изненадани, след като конзолата за управление на плащанията и разходите (AWS Billing and Cost Management Console) и инструментът Cost Explorer започнаха да показват изключително високи прогнозни разходи за облачни услуги.

Някои организации съобщиха за прогнозни месечни сметки, достигащи трилиони долари, което задейства сигнали за надвишаване на бюджета и породи опасения за потенциално неоторизирано използване на ресурси в AWS.

От AWS потвърдиха проблема чрез своето табло за състоянието (Health Dashboard) и профила на AWS Support в социалната мрежа X, като подчертаха, че неточните данни са ограничени само до прогнозните данни за фактуриране. Компанията заяви, че действителните такси и потвърдените записи за използване на услугите остават незасегнати.Проблемът е започнал приблизително в 19:38 ч. PDT на 16 юли, според AWS. Първоначалните актуализации съобщаваха, че инженерните екипи разследват защо Cost Explorer отразява неточна прогнозна информация за плащанията.

В актуализация, публикувана в 03:03 ч. PDT на 17 юли, AWS заяви, че е идентифицирала основната причина: проблем, свързан с единичното ценообразуване в нейната подсистема за изчисляване на прогнозни сметки.

„AWS идентифицира като основна причина проблем с единичното ценообразуване в подсистемата за изчисляване на прогнозното фактуриране“, заявиха от компанията. „Показаните прогнозни сметки не отразяват действителното потребление и такси.“

AWS Cost Explorer е инструмент за управление на разходите в облака, който помага на клиентите да визуализират историческото потребление, да прогнозират разходите и да идентифицират тенденциите при разходите. Той разчита на изчисления на прогнозните цени по време на отчетния период, докато окончателните фактури се основават на валидирано и отчетено потребление на услугите.

Сривът изглежда е засегнал слоя за генериране на прогнози, а не основните системи за отчитане на потреблението или фактуриране на AWS. На практика нереална стойност на единичната цена би могла да умножи легитимните данни за потреблението до неправдоподобно големи прогнозни разходи.

От AWS заявиха, че работят по отстраняване на проблема и предупредиха, че пълното възстановяване ще отнеме няколко часа, след като непосредственият проблем бъде разрешен. Това се налага, тъй като компанията трябва да преизчисли прогнозните данни за фактуриране във всички засегнати клиентски профили.

AWS също така посочи, че в момента не се изискват никакви действия от страна на клиентите.

Публикацията на AWS Support предизвика вълна от реакции в X, където клиенти споделяха екранни снимки на неочаквани прогнози за разходи и предупреждения за бюджети. Няколко потребители описаха как са получили стряскащи известия, предполагащи, че техните организации внезапно са изправени пред огромни сметки за облачни услуги.

Други отбелязаха, че прогнозните суми са очевидно невъзможни, като оценките надвишават годишните приходи или пазарната стойност на много големи компании.

Събитието също така поднови дискусията относно оперативното въздействие на автоматизираните сигнали от AWS Budgets, които могат бързо да ескалират аномалии във фактурирането към финансовите, инженерните екипи и екипите по сигурност.

Въпреки че прогнозните стойности бяха погрешни, потребителите все пак трябва да се отнасят сериозно към неочакваните предупреждения за фактуриране в AWS. Скоковете в разходите могат да бъдат резултат и от компрометирани идентификационни данни, разкрити ключове за достъп, активност за добив на криптовалута (криптомайнинг), неправилно конфигурирано автоматично мащабиране или случайно внедрена ресурсоемка задача.

Клиентите на AWS не трябва да променят ресурсите си или да извършват плащания в отговор на некоректните прогнози. Въпреки това, екипите трябва да продължат да наблюдават акаунтите си и независимо да валидират потреблението чрез табла за управление на ниво услуги, активност в CloudTrail, AWS Config и отчети за разходите и потреблението (Cost and Usage Reports).

Екипите по сигурност и FinOps трябва също така да потвърдят, че аномалните сигнали изчезват, след като AWS приключи процеса по преизчисляване. Ако увеличението на разходите продължи и след разрешаването на инцидента от страна на AWS, клиентите трябва да извършат проверка за неоторизирана дейност или промени в конфигурацията.