Facebook-technici identificeren de grote gegevensuitdagingen van Graph Search

De ingenieurs van Facebook hebben veel uitdagingen voor de boeg tijdens het opschalen van Graph Search, de nieuwe sociale zoekfunctie van de site. Een struikelblok: een overvloed aan gegevens om te doorzoeken.

Neem het voorbeeld van het zoeken naar Japanse restaurants in New York waar mensen uit Japan dol op zijn. Een zoekopdracht die honderden of zelfs duizenden resultaten lijkt te genereren, spuugt slechts twee magere bedrijven uit.

De zoekmachine heeft, in de huidige bèta-vorm, eenvoudigweg niet de verwerkingscapaciteit om de miljoenen verbindingen tussen Japanse mensen te doorzoeken. op de site om de zoekopdracht uit te voeren, zeiden Facebook-ingenieurs donderdag tijdens een kleine mediaberichtgeving op het hoofdkantoor van het bedrijf in Menlo Park, Californië.

[Verdere lezing: de beste tv-streamingdiensten]

Kerry Davis, IDGNSMike Curtiss, ingenieur op Facebook beschrijft de achtergrond van Graph Search, die wordt aangedreven door een zoekmachine die Facebook een eenhoorn noemt.

"Er is nog steeds veel werk te doen," zei software-engineer Michael Curtiss. "Een dergelijke vraag is heel moeilijk rekenkundig", te beginnen met de 100 miljoen in Japan, en vervolgens in een fractie van een seconde om alle pagina's te doorzoeken die mensen leuk vinden in Japan, zei hij.

"Dit is virtueel onhandelbaar in de beperkte hoeveelheid tijd die we hebben ", zei de ingenieur, die heeft meegewerkt aan het ontwerp van de Unicorn-zoekmachine van de site die de infrastructuur van Graph Search biedt. "Wat we uiteindelijk moeten doen is mogelijk goede resultaten wegwerken."

Kerry Davis, IDGNSFacebook's zoekfunctie op de grafiek wordt door het bedrijf Unicorn genoemd. Daarin wordt randnummer een nummer toegekend. Hier wordt het nummer voor vrienden, dat als een trefwoord in het systeem werkt, linksonder in het scherm weergegeven.

Facebook neemt verschillende benaderingen om deze en andere problemen met big data in verband met Graph Search op te lossen

Eén strategie heeft betrekking op een concept in computerdatabases dat bekend staat als "query-optimalisatie" om de snelheid en efficiëntie van bepaalde typen zoekopdrachten te verbeteren.

In het geval van de zoekopdracht in het Japanse restaurant, kan de techniek worden toegepast om als eerste te beginnen met de restaurants die geliefd zijn in plaats van met Japan te beginnen, en vervolgens de likes van mensen te filteren, zeiden Facebook-ingenieurs.

Het bedrijf gaat ook de uitdagingen op hardwareniveau aan, door extra flash-geheugen en andere nieuwe functies toe te voegen aan de servers die het gebruikt in datacenters, om tegemoet te komen aan de toename van het zoekverkeer veroorzaakt door Graph Search.

"We moeten extra werk doen in datacenters, nieuwe hardwareplatforms kopen, [met] nieuwe soorten servers worden opgezet om te ondersteunen • de computerbehoeften van Unicorn, "zei Soren Lassen, die het zoekinfrastructuurteam leidde achter Graph Search.

Facebook begon Graph Search vorige maand uit te rollen naar een beperkt aantal gebruikers in de VS De zoekfunctie is ontworpen om mensen te laten kam door de 1 biljoen verbindingen van het sociale netwerk tussen gebruikers om te zoeken naar mensen, plaatsen, foto's en interesses met behulp van zinnen in gewoon Engels.

In principe kan niets gebruikers beletten om een ​​query in te voeren die ongewoon lang is, zoals "Werkgevers van vrienden van mijn vrienden die in New York wonen en die van Downton Abbey houden, "zeiden ingenieurs, omdat Graph Search cues zoals" Likes "en check-ins gebruikt om de resultaten gemakkelijker te rangschikken.

Uiteindelijk zal Graph Search andere statistieken opnemen, zoals gebruikersopmerkingen en statusupdates om resultaten te compileren en te rangschikken, maar dat is verderop in de lijn, aldus het bedrijf.