Facebook bereidt zich voor op 'koude opslag' om enorme hoeveelheden gegevens te verwerken

Facebook heroverweegt de manier waarop het gegevens opslaat om het hoofd te bieden aan de 7 petabytes aan nieuwe foto's die de gebruikers van het sociale netwerk elke maand uploaden. Naarmate het aantal foto's groeit, zoekt Facebook naar goedkopere, minder energie-hongerige manieren om ze allemaal op te slaan, volgens de vice-president van Infrastructure Engineering.

Gebruikers uploaden ongeveer 300 miljoen foto's per dag, meer bij speciale gelegenheden, Jay Parikh van Facebook vertelde de Structure Europe-conferentie in Amsterdam woensdag. "Halloween is een van onze grootste dagen voor het uploaden van foto's van het jaar: we komen ergens tussen waarschijnlijk 1 en 2 miljard foto's die op slechts één dag zijn geüpload", zei hij.

Foto's zoals die op Halloween zijn gemaakt verliezen al snel hun interesse, zonder dat iemand er na een paar dagen of weken naar kijkt, maar "Ons contract met onze gebruikers is dat we de gegevens niet kunnen verwijderen wanneer deze niet toegankelijk zijn, we moeten hem bewaren," zei hij. Dat leidde tot het idee om de foto's in een soort "koude opslag" te plaatsen, zei Parikh.

[Lees meer: ​​De beste tv-streamingdiensten]

Facebook is van plan om een ​​nieuw datacenter te bouwen met verschillende soorten opslag, serverhardware en netwerkapparatuur die minder stroom verbruikt en minder kosten dan bestaande datacenters - alles zonder de responstijden van servers te veranderen, zei hij.

Maar hoe efficiënt kan Facebook zijn koude opslag maken? Wanneer kosten en stroomverbruik in datacenters worden verlaagd, gebeurt dit meestal ten koste van toegangssnelheden.

Het opslaan van gegevens op tapes verlaagt bijvoorbeeld het stroomverbruik, maar vertraagt ​​de gegevenstoegang.

Amazon Web Services volgt een middelmatig pad met zijn Glacier cloud-opslagservice, die het als een alternatief voor tape plaatst. De service is geoptimaliseerd voor gegevens die niet vaak worden gebruikt en waarvoor ophaaltijden van meerdere uren acceptabel zijn.

Dat is veel te traag voor Facebook, aldus Parikh. "Ik kan geen foto maken waar je vijf of tien jaar geleden toegang toe krijgt en ik moet een banner laten zien aan de gebruiker die zegt: 'Hé, waarom probeer je het niet over 24 uur opnieuw?' Het moet nog steeds relatief realtime zijn, "zei hij.

Lagere stroombehoefte

Afbeelding: Met dank aan datacenter KnowledgeFacebook datacenter in Oregon

De meeste datacenters die tegenwoordig worden gebruikt, zijn geoptimaliseerd om veel te gebruiken vermogen om met taken om te gaan die grote rekenkracht nodig hebben. De "koude opslag" -technologie waar Facebook aan denkt is een ander extreem, zei Parikh. "Je hebt heel veel ruimte nodig, maar je hebt niet zoveel stroom nodig," zei hij, eraan toevoegend dat alles over het datacenter opnieuw moet worden overwogen om het probleem op de schaal van Facebook aan te pakken.

Op een hoog niveau, Facebook werkt aan software die zal uitzoeken hoe en waar een stuk inhoud in de infrastructuur moet worden bewaard als het ouder wordt, zei Parikh. "Dat betekent dat de kopieën van de gegevens zich in de loop van de tijd zullen verplaatsen en gebruikmaken van de verschillende stukjes infrastructuur die we hebben geoptimaliseerd voor de leeftijd van de inhoud." Sommige uitvindingen in de softwarelaag zullen Facebook toelaten om nog steeds snel te reageren, maar om data kosteneffectiever op te slaan, zei hij.

Koude opslag zal de komende twee jaar deel uitmaken van de infrastructuur van Facebook, zei hij. Facebook is van plan de delen die volgens hem relevant zijn vrij te geven en te delen via het Open Compute Project, een initiatief van Facebook om het opensource-softwareconsolidatiemodel toe te passen op de wereld van datacenterhardware.