Výpadek sledovanitv.cz 23.3.2021

Informace k úternímu výpadku přímo od společnosti sledovanitv.cz. Předně bychom se chtěli omluvit za komplikace, který vám výpadek způsobil. Naší prioritou je kvalita poskytovaných služeb a spokojenost uživatelů, proto jsme pro výpadku přijali patřičná opatření.

Na našem nedůležitějším BGP switchi Cisco v Sitelu se projevil v 20:52 SW problém a switch se na 10 minut automaticky odstavil a restartoval (kernel panic). Přes tento switch jsou propojená naše zbylá dvě datacentra a proto došlo k rozpadnutí databáze. Následně krátce nastal na clusteru stav split-brain. Nahození databáze z takového stavu trvá ve špičce cca 30 minut + 20 minut stabilizace, než se sníží zátěž.

Také bychom vás chtěli ujistit, že se nejedná o stejný případ jako při lednovém výpadku, kde jsme již nastavili příslušná opatření.