DBMS > DuckDB vs. Hive vs. Microsoft Azure Data Explorer vs. Spark SQL
Vergleich der Systemeigenschaften DuckDB vs. Hive vs. Microsoft Azure Data Explorer vs. Spark SQL
Bitte wählen Sie ein weiteres System aus, um es in den Vergleich aufzunehmen.
| Redaktionelle Informationen bereitgestellt von DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Name | DuckDB Xaus Vergleich ausschliessen | Hive Xaus Vergleich ausschliessen | Microsoft Azure Data Explorer Xaus Vergleich ausschliessen | Spark SQL Xaus Vergleich ausschliessen | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Kurzbeschreibung | An embeddable, in-process, column-oriented SQL OLAP RDBMS | Data Warehouse Software zum Abfragen und Verwalten großer verteilter Datenmengen beispielsweise in Hadoop | Fully managed big data interactive analytics platform | Spark SQL ist ein Spark-Modul für die Verarbeitung strukturierter Daten | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Primäres Datenbankmodell | Relational DBMS | Relational DBMS | Relational DBMS  column oriented | Relational DBMS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Sekundäre Datenbankmodelle | Document Store If a column is of type dynamic docs.microsoft.com/en-us/azure/kusto/query/scalar-data-types/dynamic then it's possible to add arbitrary JSON documents in this cell Event Store this is the general usage pattern at Microsoft. Billing, Logs, Telemetry events are stored in ADX and the state of an individual entity is defined by the arg_max(timestamps)Spatial DBMS Suchmaschine support for complex search expressions docs.microsoft.com/en-us/azure/kusto/query/parseoperator FTS, Geospatial docs.microsoft.com/en-us/azure/kusto/query/geo-point-to-geohash-function distributed search -> ADX acts as a distributed search engineTime Series DBMS see docs.microsoft.com/en-us/azure/data-explorer/time-series-analysis | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Website | duckdb.org | hive.apache.org | azure.microsoft.com/services/data-explorer | spark.apache.org/sql | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Technische Dokumentation | duckdb.org/docs | cwiki.apache.org/confluence/display/Hive/Home | docs.microsoft.com/en-us/azure/data-explorer | spark.apache.org/docs/latest/sql-programming-guide.html | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Entwickler | Apache Software Foundation Ursprünglich von Facebook entwickelt | Microsoft | Apache Software Foundation | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Erscheinungsjahr | 2018 | 2012 | 2019 | 2014 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Aktuelle Version | 1.0.0, Juni 2024 | 3.1.3, April 2022 | cloud service with continuous releases | 3.5.0 ( 2.13), September 2023 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Lizenz Commercial or Open Source | Open Source MIT License | Open Source Apache Version 2 | kommerziell | Open Source Apache 2.0 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Ausschließlich ein Cloud-Service Nur als Cloud-Service verfügbar | nein | nein | ja | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DBaaS Angebote (gesponserte Links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Implementierungssprache | C++ | Java | Scala | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server Betriebssysteme | serverlos | Alle Betriebssysteme mit einer Java VM | gehostet | Linux OS X Windows | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Datenschema | ja | ja | Fixed schema with schema-less datatypes (dynamic) | ja | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typisierung vordefinierte Datentypen, z.B. float oder date | ja | ja | ja bool, datetime, dynamic, guid, int, long, real, string, timespan, double: docs.microsoft.com/en-us/azure/kusto/query/scalar-data-types | ja | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| XML Unterstützung Verarbeitung von Daten in XML Format, beispielsweise Speicherung von XML-Strukturen und/oder Unterstützung von XPath, XQuery, XSLT | nein | ja | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Sekundärindizes | ja | ja | all fields are automatically indexed | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL Support of SQL | ja | SQL-like DML and DDL statements | Kusto Query Language (KQL), SQL subset | SQL-like DML and DDL statements | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| APIs und andere Zugriffskonzepte | Arrow Database Connectivity (ADBC) CLI Client JDBC ODBC | JDBC ODBC Thrift | Microsoft SQL Server communication protocol (MS-TDS) RESTful HTTP API | JDBC ODBC | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Unterstützte Programmiersprachen | C C# 3rd party driverC++ Crystal 3rd party driverGo 3rd party driverJava Lisp 3rd party driverPython R Ruby 3rd party driverRust Swift Zig 3rd party driver | C++ Java PHP Python | .Net Go Java JavaScript (Node.js) PowerShell Python R | Java Python R Scala | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server-seitige Scripts Stored Procedures | nein | ja Benutzerdefinierte Funktion und Map-Reduce Integration | Yes, possible languages: KQL, Python, R | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Triggers | nein | nein | ja see docs.microsoft.com/en-us/azure/kusto/management/updatepolicy | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Partitionierungsmechanismen Methoden zum Speichern von unterschiedlichen Daten auf unterschiedlichen Knoten | keine | Sharding | Sharding Implicit feature of the cloud service | yes, utilizing Spark Core | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Replikationsmechanismen Methoden zum redundanten Speichern von Daten auf mehreren Knoten | keine | frei wählbarer Replikationsfaktor | ja Implicit feature of the cloud service. Replication either local, cross-facility or geo-redundant. | keine | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MapReduce Bietet ein API für Map/Reduce Operationen | nein | ja Abfragen werden als MapReduce Jobs behandelt | Spark connector (open source): github.com/Azure/azure-kusto-spark | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Konsistenzkonzept Methoden zur Sicherstellung der Konsistenz in einem verteilten System | Immediate Consistency | Eventual Consistency | Eventual Consistency Immediate Consistency | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Fremdschlüssel referenzielle Integrität | nein | nein | nein | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Transaktionskonzept Unterstützung zur Sicherstellung der Datenintegrität bei nicht-atomaren Datenmanipulationen | ACID | nein | nein | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Concurrency Unterstützung von gleichzeitig ausgeführten Datenmanipulationen | yes, multi-version concurrency control (MVCC) | ja | ja | ja | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Durability Dauerhafte Speicherung der Daten | ja | ja | ja | ja | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| In-Memory Unterstützung Gibt es Möglichkeiten einige oder alle Strukturen nur im Hauptspeicher zu halten | ja | nein | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Berechtigungskonzept Zugriffskontrolle | nein | Zugriffsrechte für Benutzer, Gruppen und Rollen | Azure Active Directory Authentication | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Weitere Informationen bereitgestellt vom SystemherstellerWir laden Vertreter der Systemhersteller ein uns zu kontaktieren, um die Systeminformationen zu aktualisieren und zu ergänzen, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Zugehörige Produkte und DienstleistungenWir laden Vertreter von Anbietern von zugehörigen Produkten ein uns zu kontaktieren, um hier Informationen über ihre Angebote zu präsentieren. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Weitere Ressourcen | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DuckDB | Hive | Microsoft Azure Data Explorer | Spark SQL | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DB-Engines Blog Posts | Why is Hadoop not listed in the DB-Engines Ranking? | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Erwähnungen in aktuellen Nachrichten | DuckDB promises greater stability with 1.0 release DuckDB: The tiny but powerful analytics database DuckDB: In-Process Python Analytics for Not-Quite-Big Data DuckDB Walks to the Beat of Its Own Analytics Drum My First Billion (of Rows) in DuckDB | by João Pedro | May, 2024 bereitgestellt von Google News | Design a data mesh pattern for Amazon EMR-based data lakes using AWS Lake Formation with Hive metastore ... Apache Software Foundation Announces Apache Hive 4.0 18 Top Big Data Tools and Technologies to Know About in 2024 ASF Unveils the Next Evolution of Big Data Processing With the Launch of Hive 4.0 Run Apache Hive workloads using Spark SQL with Amazon EMR on EKS | Amazon Web Services bereitgestellt von Google News | We’re retiring Azure Time Series Insights on 7 July 2024 – transition to Azure Data Explorer | Azure updates Update records in a Kusto Database (public preview) | Azure updates Public Preview: Azure Data Explorer connector for Apache Flink | Azure updates Announcing General Availability to migrate Virtual Network injected Azure Data Explorer Cluster to Private Endpoints ... New Features for graph-match KQL Operator: Enhanced Pattern Matching and Cycle Control | Azure updates bereitgestellt von Google News | Run Apache Hive workloads using Spark SQL with Amazon EMR on EKS | Amazon Web Services What is Apache Spark? The big data platform that crushed Hadoop Performance Insights from Sigma Rule Detections in Spark Streaming Cracking the Apache Spark Interview: 80+ Top Questions and Answers for 2024 Simba Technologies(R) Introduces New, Powerful JDBC Driver With SQL Connector for Apache Spark(TM) bereitgestellt von Google News | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Teilen sie diese Seite mit ihrem Netzwerk
