Web v cloudu platíte podle toho, kolik práce odvede. Když ho začne stahovat robot, roste účet, i když na web nepřišel jediný člověk navíc. Ukážeme to na vlastním webu, kde čtení z databáze vyskočilo na 140násobek.
Co se stalo
Provozujeme web s veřejnými daty, jehož stránky se skládají z databáze až ve chvíli, kdy o ně někdo požádá. Před stránkami stojí síť pro doručování obsahu (CDN), která má hotové stránky držet v mezipaměti, aby databáze pracovala co nejméně.
Večer 7. května začal web stahovat robot. Do adres přidával náhodné parametry, takže pro mezipaměť byla každá adresa nová. Každý požadavek tak prošel až do databáze. Čtení vzrostlo z obvyklých tisíců za hodinu na zhruba milion, tedy na 140násobek. Pak se ustálilo kolem stonásobku a tak běželo až do opravy večer 9. května.
Robota jsme nepoznali. Přístupové logy CDN byly kvůli úspoře vypnuté. Opravu jsme proto postavili tak, aby platila na všechny roboty.
Přišli jsme na to díky rozpočtovému alarmu, který hlásil vyšší odhad měsíčního účtu dřív, než přišla faktura. Po opravě kleslo čtení z databáze ze 423 tisíc jednotek za hodinu na jednu až dvě.
Proč mezipaměť nezabrala
Selhaly tři věci najednou. Každá zvlášť by škodu jen zmírnila, dohromady nechaly robota projít až na dno.
- CDN ignorovala pokyny webu k ukládání. Distribuce měla starší typ nastavení, který hlavičku
Cache-Controlz webu nebere v úvahu a stránky drží jen hodinu. - Parametry v adrese byly součástí klíče mezipaměti. Adresa s
?a=1a s?a=2byly pro CDN dvě různé stránky. - Aplikace si nic nepamatovala. I stejnou stránku dvakrát po sobě znovu četla z databáze.
Finančně to dopadlo dobře. Odhad účtu vzrostl o 57 dolarů měsíčně. Stejná chyba na větším webu nebo s dražší databází by se počítala v jiných řádech.
Jak jsme to opravili
- Nové nastavení mezipaměti v CDN. Bere v úvahu hlavičky z webu a parametry v adrese ignoruje, takže náhodné parametry už mezipaměť neobejdou.
- Delší platnost stránek. Data se mění zřídka, detailní stránky proto smí v mezipaměti zůstat 90 dní. Seznamy a mapa webu kratší dobu.
- Mezipaměť přímo v aplikaci. Když CDN přesto pošle požadavek dál, aplikace odpoví z paměti a databázi nevolá.
- Přísnější
robots.txt. Vyhledávače a AI vyhledávače mají delší rozestupy mezi požadavky, nástroje na stahování dat bez přínosu pro vyhledávání mají přístup zakázaný.
Poslední krok je spíš úklid. Slušní roboti robots.txt respektují, ti ostatní ne. Skutečnou ochranu dává mezipaměť.
Co zkontrolovat u sebe
- Máte nastavený rozpočtový alarm? Na odhad účtu, ne jen na skutečnou útratu. Odhad varuje o dny dřív.
- Projde požadavek s nesmyslným parametrem až do databáze? Zkuste otevřít stránku s
?test=123a podívejte se v hlavičkách odpovědi, jestli přišla z mezipaměti. - Posílá web rozumnou hlavičku
Cache-Control? Stránka, která se mění jednou za měsíc, nemusí mít platnost pět minut. - Zapisujete přístupové logy? Stojí málo a při incidentu ukážou, kdo za ním stál.
Kdy přizvat odborníka
Platíte za cloud podle spotřeby a účet roste rychleji než návštěvnost? Nebo neumíte říct, kolik by stál měsíc, ve kterém vás objeví agresivní robot? Projdeme nastavení CDN, mezipaměti a alarmů a řekneme, kde je strop. Většinou jde o pár změn v konfiguraci, ne o přestavbu aplikace.