Hadoop krijgt meer zoeken met MapR, Cloudera releases

Gebruikers van het Hadoop-gegevensverwerkingsplatform hebben nu nog twee hulpmiddelen waarmee ze hun bergen informatie kunnen doorzoeken.

MapR's nieuwe M7-distributie verwijdert de Hadoop JVM-lagen om de prestaties te verbeteren

Hadoop distributeur MapR heeft LucidWorks Search geïntegreerd in zijn eigen distributie. Cloudera heeft ondertussen de eerste volledige release van zijn open source Impala SQL-queryengine voor Hadoop gelanceerd.

[Lees meer: ​​De beste tv-streamingdiensten]

"Het gebruik van de zoekfunctie als gebruikersinterface voor big data is zeer interessant. Zoeken is zeer geschikt voor het gebruik van veel verschillende soorten informatie, met name ongestructureerde informatie, "zei Jack Norris, chief marketing officer voor MapR. "We zien enkele echt interessante applicaties met zoekmachines als kern, zelfs als een typische gebruiker ze niet zou zien als zoekmachine gedreven."

LucidWorks Search is de commerciële versie van de open source Apache Lucene / Solr full -text zoekmachine. Met de nieuwe integratie van MapR kan LucidWorks Search gegevens doorzoeken op Hadoop File Systems (HDFS) of op bestanden op andere bestandssystemen.

LucidWorks Search biedt snapshots en mirrors voor hoge beschikbaarheid en elimineert veel van het werk dat nodig is om installeer Lucene / Solr helemaal opnieuw. Het biedt ook native ondersteuning voor meer gegevensbronnen, een grafische gebruikersinterface en een beveiligingsraamwerk.

De zoekmachine kan worden gebruikt in een dynamische webtoepassing om snel foto's, advertenties, productaanbevelingen en andere informatie die kan worden gebruikt op te halen om websites meteen te vullen. "Dit is geen goedkoper alternatief voor datawarehouses. Dit gaat over het benutten van nieuwe gegevensbronnen en het doen van een aantal dingen die een dramatische impact hebben op het bedrijf, "zei Norris.

MapR en LucidWorks werken samen aan het koppelen van hun technologieën sinds 2011, toen ze een gezamenlijke marketingovereenkomst vormden. Eerder dit jaar brachten ze een connector uit die het gemakkelijk maakt om Lucene / Solr te gebruiken met de MapR Hadoop-distributie.

LucidWords Search werkt met de nieuw uitgegeven M7-distributie van MapR, in bèta-vorm. Naast het ondersteunen van LucidWorks Search, is de M7-editie opnieuw ontworpen om compacties of consistente controles op de achtergrond, snelheden te elimineren.

Ook deze week bracht Cloudera versie 1.0 van Cloudera Impala uit, een open source SQL-compatibele query-engine voor Hadoop. SQL is de database-interfacetaal die wordt gebruikt in relationele databasebeheersystemen (RDMS) en is goed bekend bij databasebeheerders.

Impala is ontworpen om sneller query's uit te voeren dan Hadoop's Hive, omdat het geen gebruik maakt van het MapReduce-framework, waarvoor zoekresultaten moeten op schijf worden geschreven. In plaats daarvan kunnen gebruikers direct gegevens opvragen die zijn opgeslagen in HDFS en HBase. Gebruikers kunnen gegevens interactief of door middel van batchprocessen opvragen.

Cloudera bracht in oktober voor het eerst een versie van deze engine uit als bèta. Sindsdien is de software getest door bedrijven zoals 37signals en Expedia.

Impala is de kerncomponent van het Cloudera Enterprise RTQ (Real-Time Query) aanvullend pakket voor het Cloudera Hadoop-platform. Impala kan gratis worden gedownload.

Bijgewerkt 6 mei om informatie over de Cloudera Impala-technologie te corrigeren.