nplex platform

Het nplex softwareplatform is ontwikkeld voor het verwerken van extreem grote datahoeveelheden en vormt de technische basis voor al onze dienstverlening. De technologie vindt zijn oorsprong in de centrale computersystemen van de LOFAR radiotelescoop, waarbij processing netwerken continue datastromen moeten verwerken op astronomische schaal. In het nplex platform is deze technologie verder verfijnd en uiterst efficiënt uitgewerkt. Hierdoor wordt de big data expertise die binnen de astronomie is opgebouwd beschikbaar voor ieder vakgebied.

Het platform bevat componenten voor de basis onderdelen van big data oplossing, namelijk het binnenhalen (recording), opslaan (warehouses) en/of weer opvragen (exporting) van data. Tenslotte kunnen ook (gedeelten van) de analyse geautomatiseerd worden (intelligence). Voor elk van deze componenten is in nplex een krachtige, optimale module ontwikkeld. Het platform kan bovendien tijdens elke stap van het proces bewerkingen en berekeningen uitvoeren op de data. Zo worden dataverwerkende maatwerkapplicaties snel ontwikkeld; alleenstaand of geïntegreerd in een business intelligence omgeving.

De technologie achter het nplex platform garandeert de allerhoogst haalbare performance. Door zeer efficiënt gebruik van de structuur van moderne multi-core processoren en interactie met disks en RAID systemen haalt nplex het maximale uit uw hardware. In vrijwel al onze projecten blijken we uiterst dataintensieve vraagstukken met één of enkele servers te kunnen oplossen. Minder hardware scheelt aanschafkosten en energieverbruik. Ook is het niet nodig om systeembeheerders te scholen in het beheren van (Hadoop) clusters met alle bijkomende kosten van dien.

Data Recording applications

  • Stabiele streaming data
  • Real-time systemen
  • Data-compressie
  • Input diversiteit
  • Beveiligde overdracht
  •  
     
 

De nplex data-recorder is de basis van vrijwel elke big data oplossing. Een maatwerkrecorder bevat één of meerdere gespecialiseerde nplex componenten voor het binnenhalen van data uit een alsmaar groeiend aantal brontypes: web services, databases, verkeerslichten, videocameras, data loggers, microfoons, smart sensoren, en meer.

Sensoren worden aangesloten op een lokale single-board computer, zoals de Beaglebone of Raspberry Pi. Dit sensorplatform verzorgt de volledige sensorafhandeling “in het veld” en verstuurt een datastream in gecomprimeerde en beveiligde vorm naar de datarecorder. De recorder leest de datastreams van alle sensorplatformen in. Naar wens wordt de data van verschillende bronnen samengevoegd, geïnterpreteerd of opgeschoond, voordat deze realtime aan de gewenste opslagmethode aangeboden wordt. Daarbij is het mogelijk om de actuele status van de opgehaalde datastromen te inspecteren in monitorsystemen als Zabbix, Nagios, en andere snmp compliant applicaties.

Nplex Data Warehouse

  • Gespecialiseerde “next-generation” opslag
  • Hybride opslagmethoden
  • NoSQL, lmDB, mongodb etc
  • SQL databases, sqlite
  • multimedia formaten
  • Gedeelde metadata indexering
  •  

De balans tussen flexibiliteit, snelheid, inzichtelijkheid en volume ligt bij elk big data vraagstuk net wat anders. Om deze reden wordt een maatwerk opslagmethode geselecteerd die optimaal presteert voor de betreffende data, nu en in de toekomst. Dat kan een database zijn, een no-sql oplossing of gespecialiseerde bestandsformaten.

Door middel van de unieke Rapid Information Amplifier (RIA) indexering, is het ook mogelijk om verschillende opslagmethodes te gebruiken voor verschillende brontypes en deze data moeiteloos met elkaar te verbinden. Daarnaast bundelt deze indexering data op verschillende abstractie-niveaus bij elkaar. Zo wordt een optimale export performance gegarandeerd en is het mogelijk om een warehouse uit te blijven breiden met nieuwe datastromen.


Data Export applicaties

  • Streaming output
  • SSD snelheid
  • Interfaces met R, Matlab, SPSS, NCSS
  • Custom bestandsformaten
  •  

Opgeslagen data moet uiteraard ook gebruikt worden. Daartoe is de nplex data-exporter module ontwikkeld, welke dataselecties uit de opslag ophaalt en beschikbaar stelt als stroom, service of bestanden. Standaard bestandsformaten zoals xlsx, csv, matlab en sqlite zijn mogelijk. Maar ook unieke, vakgebiedspecifieke formaten kunnen aan de nplex exporter module gekoppeld worden.

Omdat ruwe data onvolledig kan zijn, is de exporter in staat om data validaties uit te voeren en aan de hand van specifieke algoritmes ontbrekende gegevens aan te vullen. Tijdens de data importexport worden berekeningen of transformaties op de opgevraagde data uitgevoerd om tot de gewensde uitvoer te komen. Tevens bevat nplex een component om gebruikersauthenticatie toe te passen op (gedeelten van) de opgeslagen data. Typisch zal een export tenminste de schrijfsnelheid van een SSD of RAID systeem leveren.


Nplex Data Intelligence

  • Multivariate statistiek
  • Machine learning
  • Live dashboards
  • KPI rapportage
  • Enterprise application integration
  • Pentaho, R, Hadoop, Matlab ea
  •  

Met een nplex data intelligence module neemt een big data oplossing nog meer werk uit handen. Waar een exporter een resultaat oplevert dat verder onderzocht kan worden door analysten en experts, bevat de data intelligence module zelf de expertkennis die nodig is om conclusies uit de data te halen.

Veelal zal er gebruik worden gemaakt van (multivariate) statistiek of machine learning om begrip van de data op te bouwen. De resultaten kunnen getoond worden in rapportages en live dashboards; zowel in stand alone applicaties en op het web, als geintegreerd met andere enterprise software. Naar wens zal de gekozen 'view' aansluiten bij de data. Denk aan actuele verkeersinformatie dat geprojecteerd wordt op een wegenkaart, of aan afwijkend gedrag dat gehighlight wordt in videobeelden. Daarbij is het ook mogelijk om automatisch geattendeerd te worden op bevindingen door middel van push berichten naar uw inbox of custom apps.