Come avete modo di notare negli ultimi 2 giorni quasi nessuna piattaforma delle Olimpiadi di Informatica è stata accessibile.
In qualche modo (non ancora del tutto chiaro), sono riuscito a cancellare accidentalmente 3 database e tutti i loro backup. I database in questione sono quelli del forum, della wiki e di olimpiadi-scientifiche.it.
Per olimpiadi-scientifiche.it ero riuscito a salvarmi un backup di pochi minuti prima del misfatto, quindi non sono stati persi dati.
Per la wiki (che è ancora offline), quasi tutto è salvato su git, quindi i contenuti sono salvi; ho recuperato un backup di qualche mese fa delle configurazioni, che ripristinerò nei prossimi giorni.
Il forum invece è stato afflitto da una seria perdita di dati. Il database, la copia live del database (che potevamo usare se uno dei server fosse morto), e i backup settimanali sono stati cancellati. Come per la wiki, avevo un backup di mesi fa (circa fine aprile). Per provare a recuperare altri dati abbiamo dovuto spegnere quasi tutto, smontare i dischi esterni dei server e provare a recuperare i file cancellati (sperando che non siano stati sovrascritti).
In questo modo siamo riusciti ad estrarre questi file:
f2503409664_oii_forum_2022_03_29_033337_v20220107014925_tar.gz
f2504687616_oii_forum_2022_04_05_033902_v20220107014925_tar.gz
f2530410496_oii_forum_2022_04_12_033550_v20220107014925_tar.gz
f2503294976_oii_forum_2022_04_19_033600_v20220107014925_tar.gz
f2505392128_oii_forum_2022_04_26_033102_v20220107014925_tar.gz
f2528083968_oii_forum_2022_05_02_133823_v20220107014925_tar.gz
f2559918080_oii_forum_2022_06_06_033652_v20220428025825_tar.gz
f3048456192_oii_forum_2022_07_27_033330_v20220428025825_tar.gz
f3906174976_oii_forum_2022_08_10_033554_v20220428025825_tar.gz
f3668295680_oii_forum_2022_08_17_033227_v20220428025825_tar.gz
f3423944704_oii_forum_2022_08_24_033240_v20220428025825_tar.gz
f2570993664_oii_forum_2022_08_31_033132_v20220428025825_tar.gz
f2500378624_oii_forum_2022_09_07_033436_v20220428025825_tar.gz
f2641362944_oii_forum_2022_09_14_033913_v20220428025825_tar.gz
f823410688_oii_forum_2022_09_21_033435_v20220428025825_tar.gz
Sfortunatamente i backup di settembre sono risultati tutti irrimediabilmente corrotti. Il primo backup funzionante è stato quello del 24 agosto. Quindi tutti i post, commenti, like e messaggi dal 24 agosto al 24 settembre sono andati persi.
Appena finiamo le procedure di recupero dati attueremo delle nuove strategie di backup esterne. Forse documenteremo pubblicamente il setup in questione, e i dettagli di come sia possibile perdere tutti i dati insieme 
Tutti gli altri servizi offerti (training, digit, territoriali, stats, …) non sono stati coinvolti dalla perdita. Vi faccio notare che esiste status.olinfo.it per verificare il funzionamento dei vari servizi.
Mi scuso personalmente per quello che è capitato e me ne assumo la piena responsabilità. Cercherò di tenere questo post aggiornato se ci sono degli sviluppi.