Chanminer: 400 giga toho nejhoršího, co internet nabízí

Chanminer stále běží. Téměř 10 let nepřetržitého archivování 4chanu, jedné z nejhorších končin internetu, nikdy nepřestalo. Teď to celé jede na Raspberry Pi, jen 2 watty energie, potichu stahuje data z webu, který si popravdě nezaslouží nic lepšího než nepříliš ceremoniální konec své existence. Jediná známka aktivity, že celá operace pokračuje, je blikající diodka u ethernetového portu. Jednou za ~14 dní data z SD karty vyklopím na disk, jeden příkaz, který je postahuje, překomprimuje přes zstd a přidá na hromadu k těm starým. Dlouhou dobu existují jen na jediném disku, na stařičkém SSD na laptopu, bez záloh, bez RAIDu. Teď mi tu leží asi rok a půl archivů.

Nedělá mi to moc starosti, nejsem si jistý, jakou ten poklad má vlastně hodnotu. Na začátku projektu v roce 2011 jsem v jakousi hodnotu věřil, ale teď ne tak docela. Je to jen záznam graduálně sílící nenávisti, rasismu a těch nejhorších lidských rysů, magnifikovaných anonymním prostředím do groteskní podoby.

A když to nemá žádnou hodnotu, tak to postupně zveřejním. Proč ne? Kdo to zastaví?

Když jsem to zkoušel minule, webhostér se rychle ozval s tím, že takhle to dál nepůjde, že jim to zabíjí databázi. Jo, to bylo fér. Teď tam žádná databáze není, jen soubory s daty a soubory s indexy, nehledá se v B-stromech, jen se naviguje přes (maximálně 3) persistentní pointery. Vypadá to jako celkem svižná věc na to, že se v ní válí zatím 13 milionů postů. Každá stránka by měla být hotová do 3-5 milisekund nehledě na to, jak velké to nakonec bude.

Ve finále by se tam mohlo vyskytnout hodně přes jednu a půl miliardy postů¹ , ale na to potřebuju minimálně 400 giga jen pro texty. Obrázky jsem se snažil archivovat pouze na samotném začátku snažení, ale z důvodu malých disků přestal.

Nemám dost místa, ale nechce se mi za to dávat ani korunu navíc. Jak jsem řekl, jde o bezcenný odpad.

1. K 25. 2. 2021 v archivu leží 2.44 miliard postů.