Android

Yahoo zoekt Hadoop-boost met versie van interne versie

Ze noemen me Trinity | WESTELIJK | Engels | Volledige lengte spaghetti westernfilm | Volledige film

Ze noemen me Trinity | WESTELIJK | Engels | Volledige lengte spaghetti westernfilm | Volledige film
Anonim

Om de acceptatie van de Hadoop-technologie voor het verwerken van enorme gegevenssets te bevorderen, zal Yahoo een versie van de software publiceren die het heeft geperfectioneerd om veel van zijn belangrijkste sites en services van stroom te voorzien.

De aankondiging was op woensdag tijdens de tweede jaarlijkse Hadoop Top, georganiseerd door Yahoo en gesponsord door verschillende grote leveranciers die deze technologie ondersteunen, waaronder IBM, Sun en Amazon.com.

Yahoo's zoekmachines, advertentiesystemen en webmailservice gebruiken Hadoop, een open-source implementatie van het MapReduce-programmeermodel voor het verwerken van grote gegevenssets in processorclusters.

[Verdere lezen: de beste tv-streamingdiensten]

Bij Hadoop draait Hadoop op meer dan 25.000 servers om gegevens te kraken over tientallen miljarden webpagina's, tientallen huisdieren opslagruimte en miljarden records per dag.

Door de broncode van de Hadoop-distributie vrij te geven, hoopt Yahoo de ontwikkeling van dit Apache Software Foundation-project te stimuleren.

Yahoo, dat de grondlegger van Hadoop, Doug Cutting, in dienst heeft, draagt ​​bij Hadoop-verbeteringen aan het Apache-project, maar nu wordt de volledige Hadoop-implementatie vrijgegeven, die de grootste ter wereld is en uitgebreid is getest en geperfectioneerd voor gebruik in live productiesystemen. De Yahoo-code is zonder beperkingen voor commercieel gebruik.

"Er is veel belangstelling getoond dat als we dit beschikbaar zouden maken, het nuttig zou zijn voor andere gebruikers", zegt Shelton Shugar, senior vice president van cloud computing bij Yahoo.

Yahoo consolideert steeds meer verwerkingsplatforms op Hadoop-clusters omdat ze beter kunnen opschalen en de grootschalige gegevensverwerking van de sites en services van het bedrijf kunnen bieden, zei hij.

"We zijn erg blij met hoe Hadoop is Het is een fantastisch platform, "zei Shugar.

Amazon.com heeft onlangs een gehoste service gelanceerd om ontwikkelaars het gebruik van Hadoop, genaamd Amazon Elastic MapReduce, te vereenvoudigen, terwijl bedrijven zoals Cloudera commerciële Hadoop-distributies voor bedrijfsimplementaties gebruiken.