Spark und Hadoop als hochperformanter Rechenkern

Hadoop ist als ein hervorragendes Framework zur Anwendung beliebiger Berechnungen auf große Datenmengen bekannt. Nur wenige wissen dagegen, dass die Vorteile von Hadoop auch für kleinere Datenmengen erfolgreich genutzt werden können, um komplexe Berechnungen ohne großen Aufwand und ohne Spezialhardware zu parallelisieren und zu beschleunigen:

  • Einfache Parallelisierbarkeit von Berechnungen
  • Hohe Ausführungsgeschwindigkeit durch In-Memory-Technologie bei Verwendung von z.B. Spark und Impala
  • Umfangreiche Bibliotheken

So hat ADASTRA bei einer großen deutschen Bank Hadoop-Technologien wie Spark, Impala, Hive und CDH für ein komplexes mathematisches Problem aus dem Bereich Kreditrisikoberechnung auf Datenmengen um 10 GB angewandt. Dabei konnte die Berechnung um den Faktor 4 beschleunigt werden.

Sie haben ein aufwendig zu berechnendes Problem, das auf Datenmengen im Gigabyte-Bereich angewendet werden muss? Hadoop kann Ihr Weg zu erheblich verbesserter Performance sein.

Kerntechnologien:

Weitere mögliche Use Cases:

Spark als ETL Tool, Credit Risk Management