Лекция 4, Виктор Бородаенко, Основы Hadoop, современные подходы к обработке Big data
Greenplum en Aster Data Systems, twee startups die op grote schaal zijn betrokken data-analyse, kondigde deze week aan dat hun producten MapReduce zullen ondersteunen, een programmeertechniek die oorspronkelijk door Google is ontwikkeld voor parallelle verwerking van grote gegevenssets in standaardhardware.
Softwareontwikkelaars hebben de neiging om meer vertrouwd te zijn met talen zoals Java en C ++ dan de SQL, zei Mayank Bawa, medeoprichter en CEO van Aster, maker van een clusterdatabasesysteem dat workloads opsplitst in meerdere discrete lagen.
"De meeste ontwikkelaars worstelen met de nuances om een database goed in hun richtingen te laten dansen," hij schreef in een blogpost. "Inderdaad, een SQL-maestro is vereist om interessante query's uit te voeren voor gegevenstransformaties (tijdens ETL-verwerking of Extract-Load-Transform-verwerking) of datamining (tijdens analyses)."
Voer MapReduce in, waarvan het doel was om een "triviaal paralleliseerbaar framework zodat zelfs beginnende ontwikkelaars (ook wel stagiairs) programma's in verschillende talen kunnen schrijven (Java / C / C ++ / Perl / Python) om gegevens onafhankelijk van schaal te analyseren," schreef Bawa.
Ondertussen Greenplum, maker van een database zegt dat het kan opschalen naar een petabyte aan informatie, zei deze week dat een MapReduce-framework vanaf september onderdeel zal zijn van zijn dataflow-engine.
De dubbele aankondigingen brachten een knikje van goedkeuring van een van de nabij zijnde waarnemers van de database wereld.
"Op zichzelf kan MapReduce veel belangrijk werk doen op het gebied van gegevensmanipulatie en -analyse.Integratie met SQL zou de toepasbaarheid en de kracht ervan moeten vergroten", schreef Curt Monash van Monash Research op het DBMS2-blog.
"MapReduce is niet nodig voor tabu groot gegevensbeheer. Dat is op andere manieren efficiënt parallel geplooid, "voegde hij eraan toe." Maar als je niet-tabulaire structuren zoals tekstindexen of grafieken wilt bouwen, blijkt MapReduce een grote hulp te zijn. "
Google past tweak Gmail aan het automatisch toevoegen van contactpersonen aan
Google implementeert deze week een wijziging in Gmail die gebruikers meer controle geeft over hun lijst met contacten.
Notes van Google Documenten bekijken en toevoegen van Google Keep
Zoek uw Google Keep Notes van Google Docs. Met een nieuwe functie die is toegevoegd aan Google Keep, kunt u Google Keep-documenten integreren in Google Documenten.
Voorbeeld PDF-bestanden toevoegen en miniatuurweergaven toevoegen aan PDF-bestanden in Windows 7
PDF-voorbeeld en PDF XChange Viewer gratis downloaden. Hiermee kunt u een voorbeeld van PDF-bestanden bekijken en kunt u miniatuurvoorbeelden op uw Windows-computer toevoegen.