Android

Amazon Automaten Hadoop gebruik voor ontwikkelaars

How Amazon Prime Now Works

How Amazon Prime Now Works
Anonim

Amazon.com heeft een gehoste service gelanceerd die bedoeld is om ontwikkelaars het gebruik van de Hadoop-implementatie van het MapReduce-programmeermodel voor de verwerking van grote gegevenssets in processorclusters te vereenvoudigen.

genaamd Amazon Elastic MapReduce, de cloud computing-service is bedoeld voor ontwikkelaars wiens applicaties grote hoeveelheden data moeten kraken, waarvoor Hadoop bij uitstek geschikt is.

Met Amazon Elastic MapReduce zijn veel taken die ontwikkelaars handmatig met Hadoop moeten doen geautomatiseerd, de Amazon Web Services (AWS) cloud computing van het bedrijf divisie zei donderdag in een officiële blog.

[Lees meer: ​​De beste tv-streamingdiensten]

"Met Elastic MapReduce kun je Hadoop-taken maken, uitvoeren, controleren en beheren. met gemak van klikken en klikken. U hoeft niet naar buiten te gaan en scads van hardware te kopen. U hoeft het niet in te pakken, te netwerken of te beheren. U hoeft zich geen zorgen te maken over onvoldoende resources of deze te delen met andere leden van uw organisatie. U hoeft het niet te controleren, af te stemmen of tijd te besteden aan het upgraden van het systeem of de toepassingssoftware, "zo staat op de blogpost.

AWS heeft besloten om deze service te maken nadat het heeft geleerd dat klanten Hadoop-banen op de Amazon hebben Elastic Compute Cloud (EC2) -service, die gehoste computercapaciteit biedt Omdat Hadoop steeds populairder wordt, wil Amazon het voor andere ontwikkelaars gemakkelijker maken om te profiteren van deze open source-implementatie van MapReduce.

Elastic MapReduce werkt samen met EC2 en de Amazon Simple Storage Service (S3) gehoste storage cloud-service. "Elastic MapReduce draait automatisch een Hadoop-implementatie van het MapReduce-framework op Amazon EC2-instances, waarbij de gegevens in een jobflow worden onderverdeeld in kleinere brokken, zodat ze kunnen worden verwerkt - de 'kaart'-functie - parallel, en uiteindelijk recombinatie van de verwerkte gegevens tot de uiteindelijke oplossing - de functie' reduceren '. Amazon S3 fungeert als de bron voor de gegevens die worden geanalyseerd, en als de uitvoerbestemming voor de eindresultaten, "volgens een afzonderlijke beschrijving van de service.

Zoals met andere AWS clouddiensten, berekent Amazon voor Elastic MapReduce op basis van zijn gebruik, zonder een minimale vergoeding.