Websites

Yahoo Helpt IIT Bombay Hadoop Cluster Lab instellen

Hadoop Architecture | HDFS Architecture | HDFS Tutorial | Hadoop Tutorial | Edureka

Hadoop Architecture | HDFS Architecture | HDFS Tutorial | Hadoop Tutorial | Edureka
Anonim

Yahoo heeft het Indiase instituut voor technologie in Bombay geholpen met het opzetten van een Hadoop-clusterlaboratorium in Mumbai door een cluster van servers met de open-source Hadoop-software te doneren.

Apache Hadoop is een open source gedistribueerd computerproject van de Apache Software Foundation die Yahoo ondersteunt.

Yahoo beheert een groot aantal van zijn kritieke operaties met behulp van Hadoop en kan niet al het onderzoek rondom Hadoop binnen het bedrijf uitvoeren, zei Prabhakar Raghavan, senior vice president en hoofd van Yahoo Labs, in een telefonisch interview op donderdag.

Yahoo heeft in juni vorig jaar een eigen distributie van Hadoop aangekondigd, waarin de interesse van de Apache Hadoop-gemeenschap wordt aangevoerd dat het de versie van Hadoop publiceert die wordt getest en op zijn eigen grote clusters wordt geïmplementeerd.

lab op M umbai helpt onderzoekers op onderzoeksgebieden van het instituut, zoals zoek- en rangschikkingstechnieken, informatie-extractie en verwerking van natuurlijke taal.

Academische onderzoekers die webgerelateerde problemen willen onderzoeken, hebben doorgaans geen toegang kunnen krijgen tot de rekenbronnen en terabytes van gegevens die nodig zijn voor onderzoek naar "webschaalproblemen", zei Raghavan.

Beginnend met het leveren van Hadoop-onderzoekers aan Carnegie Mellon University met een 4.000-processor supercomputer in 2007, heeft Yahoo andere universiteiten in de VS geholpen Hadoop op te zetten clusters, zei hij.

Raghavan gaf niet meer details over het cluster dat op het IIT was geïnstalleerd, maar zei alleen dat servers met honderden CPU's en de mogelijkheid om terabytes aan gegevens te verwerken daar zijn ingezet.

Naast IIT Bombay, Yahoo helpt bij het opzetten van soortgelijke clusters bij academische instellingen in Duitsland en Singapore, zei Raghavan. Dit zijn de eerste drie academische instellingen buiten de VS waar Yahoo helpt bij het opzetten van dergelijke clusters, voegde hij eraan toe.

Yahoo is van plan later een aantal van de clusters over de hele wereld te netwerken om een ​​"groter nut" te creëren. Voordien moeten de systeembeheermogelijkheden van Hadoop worden versterkt om te voorkomen dat een student in een instelling het werk bij een andere instelling crasht, zei Raghavan.

Yahoo werkte in 2008 samen met Computational Research Laboratories (CRL), een laboratorium gerund door India's Tata Group biedt supercomputingfaciliteiten gratis aan academische instellingen in India aan die onderzoek doen naar grootschalige computergebruik, met name rondom Hadoop. Die samenwerking gaat door, maar is gericht op high-performance supercomputing, zei Raghavan.

Door samen te werken met academische instellingen op Hadoop kan Yahoo een pool van ingenieurs bouwen die bekend zijn met het Hadoop-platform, aldus Raghavan. Sommigen van hen zijn zelfs ingehuurd door Yahoo, voegde hij eraan toe.

Yahoo heeft ook geprofiteerd van ideeën die afkomstig zijn van academische instellingen die onderzoek doen met Hadoop, zei Raghavan. Hij gaf echter geen specifieke voorbeelden van ideeën die werden opgepikt uit deze samenwerking met academische instellingen.