Die 5 größten Linux- und Open-Source-Geschichten des Jahres 2024: Von KI-Argumenten bis hin zu Sicherheits-Close-Calls
Databricks, der Verfechter der Data-Lakehouse-Technologie und ihrer offenen Speicherformate, gab bekannt, dass es einen Weltrekord für einen Data-Warehouse-Performance-Benchmark aufgestellt hat.
Zusammenfassung der TPC-DS-Benchmark-Ergebnisse von Databricks
Da die Datenquellen und -mengen wachsen und eine datengesteuerte Ausrichtung zunehmend als Wettbewerbsnotwendigkeit angesehen wird, wird der Kampf zwischen den Plattformanbietern um die Bereitstellung des primären Repositorys für unsere Daten intensiv. Der Krieg hat mehrere Fronten, eine davon ist die Analytik. Und in diesem Rahmen sind das Data Warehouse und das Data Lake Camp die Hauptkämpfer.
Die Data-Warehouse-Seite ist stark, da sie eine Kombination aus etablierten Anbietern wie Teradata und Vertica (jetzt Teil von Micro Focus), allen drei großen Cloud-Anbietern (AWS, Google Cloud, Microsoft Azure) und dem Branchenliebling Snowflake umfasst. Auf der Data-Lake-Seite sind unabhängige Anbieter wie Cloudera und Databricks vielleicht die emblematischsten Konkurrenten.
Der bisherige Rekordhalter für die Leistung in der Größenordnung der TPC-DS-Benchmarks von Databricks war Alibaba. Der chinesische Internet- und E-Commerce-Riese hatte ein Ergebnis von 14.861.137 QphDS @ 100 TB (Entscheidungsunterstützungsanfragen pro Stunde, basierend auf Abfragen mit 100 TB Daten) erzielt, indem er sein eigenes, speziell angefertigtes - und auch recht kräftiges - Data-Warehouse-System verwendete.
Databricks gab unterdessen bekannt, dass es ein Ergebnis von 32.941.245 QphDS @ 100 TB erzielt hat - mehr als das Doppelte der Leistung von Alibaba. Dies geschah auf einem System, das nach Angaben des Unternehmens 10 % günstiger war als die Home-Brew-Plattform von Alibaba. Und während die Benchmarks von Databricks selbst durchgeführt wurden, wurden die Ergebnisse vom TPC geprüft.
Nach Ansicht von Databricks stellte es einen Allzeitrekord auf.
Das Unternehmen ist ferner der Ansicht, dass alle Hindernisse, die Kunden daran hinderten, eine Lakehouse-Plattform anstelle einer Lagerplattform zu verwenden, nun beseitigt werden sollten. Das ist von Bedeutung, da Databricks trotz seiner Befürwortung des Lakehouse-Ansatzes zuvor eingeräumt hat, dass Warehouse-Plattformen für bestimmte Workloads besser abschneiden, und das Unternehmen verstanden hat, dass dieses Leistungsdefizit Kunden davon abhält, auf die Lakehouse-Seite zu wechseln.
Konfrontation mit Schneeflocke
Databricks war eindeutig der Meinung, dass es mit diesen Benchmark-Ergebnissen erfolgreich gegen den Data-Warehouse-Liebling Snowflake bestehen konnte. Apropos, über die TPC-Benchmark-Ergebnisse hinaus wirbt Databricks für die Arbeit des Barcelona Supercomputing Center (BSC), das Databricks SQL und Snowflake vergleicht. Databricks sagt, dass diese Arbeit, die auf TPC-DS-Benchmarks basiert, aber nicht TPC-geprüft wurde, zeigt, dass Databricks SQL 2,7-mal schneller ist (siehe die Abbildung unten aus einem Databricks-Blogbeitrag zu diesem Thema). BSC berichtet auch, dass ein Databricks SQL-Cluster in Bezug auf das Preis-Leistungs-Verhältnis 12x besser ist als ein ähnlich großes Snowflake-Setup.
Databricks SQL im Vergleich zu Snowflake unter Verwendung eines von TPC-DS abgeleiteten Benchmarks.
Hier gibt es viel Spin, aber was die TPC- und BSC-Ergebnisse zeigen, ist, dass die Lakehouse-Architektur diese BI-Workloads bewältigen kann. Dies ist von Bedeutung, da die meisten Spark-basierten Systeme, einschließlich Databricks, zuvor am besten für Data Engineering, maschinelles Lernen und intermittierende Abfragen im Analysebereich geeignet waren. Es war schwieriger, ein solches System für laufende Analyse-Workloads oder Ad-hoc-Analysen mit mehreren aufeinander aufbauenden Abfragen zu entwickeln.
Wenn die Frage lautet, ob dies bedeutet, dass das Lakehouse jetzt ein vollwertiger Ersatz für ein Lager ist, dann ist die Antwort unklar.
Der Hauptgrund für diese Unklarheit hat mit der Meinung der Kunden zu tun, warum ein See oder ein Seehaus früher kein adäquater Ersatz war. Ja, für einige war der Grund, bei einem Lager zu bleiben, die Leistung, und diese Suite von TPC-Benchmarks kann diese Bedenken ausräumen und Kunden überzeugen, die sich dafür einsetzen.
Eine Frage der Formalität
Bei anderen Kunden geht es bei den Kriterien mehr um das Paradigma - einschließlich Datenmodellierung und in gewisser Weise um Data Governance - als um die Leistung. Das Ethos eines Sees besteht darin, Daten in Form von benannten Dateien in offenen Formaten zu speichern, so dass die Daten mit einer Reihe von Datenbank- und Analyse-Engines kompatibel sind und von diesen verwendet werden können. Und da die Daten als Dateien auf der Festplatte oder in einem Cloud-Speicher gespeichert werden, ist die Notwendigkeit (und die Bereitschaft), sie zu modellieren, geringer.
Dadurch werden die Daten weniger formell, oft weniger geprüft und auch weniger überprüft. Die Steuerung ist stärker delegiert, was das Einfügen von Daten erleichtert. (Diese Merkmale eines Data Lakes gelten auch für Lakehouse-Szenarien.)
Ein Data Warehouse ist formeller und kontrollierter und erzwingt in der Regel ein expliziteres und umfassenderes Datenmodell. Es ist weniger agil, was die Benutzer frustriert, aber es hat auch mehr einen Filter, der mit einem allgemein höheren Maß an Datenqualität und Benutzervertrauen korrelieren kann.
Große Benchmarks für Big Data
Databricks TPC-DS Benchmark-Konfiguration
Ein System mit einer Infrastruktur im Wert von 5 Millionen US-Dollar und massiven Datenmengen mag in der Lage sein, mit Alibabas Benchmark mitzuhalten, aber es ist nicht typisch für das, was die meisten Kunden brauchen oder sich leisten können. Es zeigt, dass Databricks SQL große Workloads bewältigen kann, und für einige Kunden wird dies an sich schon wichtig sein.
Die Bedeutung der Benchmark-Ergebnisse von Databricks lässt sich am besten durch die richtige Formulierung der Frage verstehen. Databricks würde es so formulieren: "Welches Modell hat die Oberhand?" Aber vielleicht lautet die Frage: "Welches Modell spricht bestimmte Kunden, in bestimmten Anwendungsfällen mehr an?" Gefolgt von: "Ist die Leistung jetzt mit beiden Modellen ausreichend?"
Letztendlich können die meisten Unternehmen wahrscheinlich von einem Data Warehouse und einem Data Lake(-Haus) profitieren. Das Warehouse kann ein Repository für hochgradig geprüfte, sorgfältig konforme und modellierte Daten sein, um Berichte, betriebliche Dashboards und Ad-hoc-Abfragen im Bereich der "bekannten Unbekannten" zu steuern. Lakes und Lakehouses können unterdessen mehr Daten mit einem kürzeren Onboarding-Prozess und weniger "Modeling-on-Write" aufnehmen und für explorative Analysen und spontane Visualisierungen verwendet werden.
Der Gewinn, nicht der Sieger
Die TPC-Ergebnisse machen deutlich, dass beide Modelle gut funktionieren, hervorragende Ergebnisse liefern, bei Bedarf eine Schnittstelle herstellen können und mit denselben BI-Tools arbeiten. Sie sind außerdem kostengünstig, Cloud-first, elastisch und agil. Aber auch wenn die Frage nach dem Lager/Lakehouse keine Entweder-Oder-Wahl erfordern muss, gibt es einen Vorteil, wenn Anbieter dies so sehen: Der Wettbewerb um die gleichen Kunden und die gleiche Arbeitslast führt zu kontinuierlichen Innovationen, von denen der Kunde profitiert.
Ob TPC-Benchmarks der ultimative Schiedsrichter darüber sind, was am besten ist, hängt von den Kriterien des Käufers ab. Aber die TPC-DS-Ergebnisse von Databricks sind trotzdem beeindruckend. Sie sind ein Meilenstein für die Branche und eine zwingende Funktion, um sicherzustellen, dass die Anbieter einen Ansatz der kontinuierlichen Verbesserung verfolgen, egal ob sie den See, das Seehaus oder das Lager anpreisen.