DBMS > Apache Impala vs. Microsoft Azure Data Explorer vs. OrigoDB vs. QuestDB vs. Spark SQL
Vergleich der Systemeigenschaften Apache Impala vs. Microsoft Azure Data Explorer vs. OrigoDB vs. QuestDB vs. Spark SQL
| Redaktionelle Informationen bereitgestellt von DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Name | Apache Impala Xaus Vergleich ausschliessen | Microsoft Azure Data Explorer Xaus Vergleich ausschliessen | OrigoDB Xaus Vergleich ausschliessen | QuestDB Xaus Vergleich ausschliessen | Spark SQL Xaus Vergleich ausschliessen | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Kurzbeschreibung | Analytic DBMS für Hadoop | Fully managed big data interactive analytics platform | A fully ACID in-memory object graph database | A high performance open source SQL database for time series data | Spark SQL ist ein Spark-Modul für die Verarbeitung strukturierter Daten | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Primäres Datenbankmodell | Relational DBMS | Relational DBMS  column oriented | Document Store Object oriented DBMS | Time Series DBMS | Relational DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Sekundäre Datenbankmodelle | Document Store | Document Store If a column is of type dynamic docs.microsoft.com/en-us/azure/kusto/query/scalar-data-types/dynamic then it's possible to add arbitrary JSON documents in this cell Event Store this is the general usage pattern at Microsoft. Billing, Logs, Telemetry events are stored in ADX and the state of an individual entity is defined by the arg_max(timestamps)Spatial DBMS Suchmaschine support for complex search expressions docs.microsoft.com/en-us/azure/kusto/query/parseoperator FTS, Geospatial docs.microsoft.com/en-us/azure/kusto/query/geo-point-to-geohash-function distributed search -> ADX acts as a distributed search engineTime Series DBMS see docs.microsoft.com/en-us/azure/data-explorer/time-series-analysis | Relational DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Website | impala.apache.org | azure.microsoft.com/services/data-explorer | origodb.com | questdb.io | spark.apache.org/sql | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Technische Dokumentation | impala.apache.org/impala-docs.html | docs.microsoft.com/en-us/azure/data-explorer | origodb.com/docs | questdb.io/docs | spark.apache.org/docs/latest/sql-programming-guide.html | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Entwickler | Apache Software Foundation Apache Top-Level Projekt, ursprünglich entwickelt von Cloudera | Microsoft | Robert Friberg et al | QuestDB Technology Inc | Apache Software Foundation | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Erscheinungsjahr | 2013 | 2019 | 2009 under the name LiveDB | 2014 | 2014 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Aktuelle Version | 4.1.0, Juni 2022 | cloud service with continuous releases | 3.5.0 ( 2.13), September 2023 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Lizenz Commercial or Open Source | Open Source Apache Version 2 | kommerziell | Open Source | Open Source Apache 2.0 | Open Source Apache 2.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Ausschließlich ein Cloud-Service Nur als Cloud-Service verfügbar | nein | ja | nein | nein | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DBaaS Angebote (gesponserte Links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Implementierungssprache | C++ | C# | Java (Zero-GC), C++, Rust | Scala | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server Betriebssysteme | Linux | gehostet | Linux Windows | Linux macOS Windows | Linux OS X Windows | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Datenschema | ja | Fixed schema with schema-less datatypes (dynamic) | ja | ja schema-free via InfluxDB Line Protocol | ja | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typisierung vordefinierte Datentypen, z.B. float oder date | ja | ja bool, datetime, dynamic, guid, int, long, real, string, timespan, double: docs.microsoft.com/en-us/azure/kusto/query/scalar-data-types | User defined using .NET types and collections | ja | ja | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| XML Unterstützung Verarbeitung von Daten in XML Format, beispielsweise Speicherung von XML-Strukturen und/oder Unterstützung von XPath, XQuery, XSLT | nein | ja | nein can be achieved using .NET | nein | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Sekundärindizes | ja | all fields are automatically indexed | ja | nein | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL Support of SQL | SQL-like DML and DDL statements | Kusto Query Language (KQL), SQL subset | nein | SQL with time-series extensions | SQL-like DML and DDL statements | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| APIs und andere Zugriffskonzepte | JDBC ODBC | Microsoft SQL Server communication protocol (MS-TDS) RESTful HTTP API | .NET Client API HTTP API LINQ | HTTP REST InfluxDB Line Protocol (TCP/UDP) JDBC PostgreSQL wire protocol | JDBC ODBC | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Unterstützte Programmiersprachen | All languages supporting JDBC/ODBC | .Net Go Java JavaScript (Node.js) PowerShell Python R | .Net | C PostgreSQL driver C++ Go Java JavaScript (Node.js) Python Rust over HTTP | Java Python R Scala | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server-seitige Scripts Stored Procedures | ja Benutzer definierte Funktionen und Integration von Map/Reduce | Yes, possible languages: KQL, Python, R | ja | nein | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Triggers | nein | ja see docs.microsoft.com/en-us/azure/kusto/management/updatepolicy | ja Domain Events | nein | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Partitionierungsmechanismen Methoden zum Speichern von unterschiedlichen Daten auf unterschiedlichen Knoten | Sharding | Sharding Implicit feature of the cloud service | horizontale Partitionierung client side managed; servers are not synchronized | horizontal partitioning (by timestamps) | yes, utilizing Spark Core | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Replikationsmechanismen Methoden zum redundanten Speichern von Daten auf mehreren Knoten | frei wählbarer Replikationsfaktor | ja Implicit feature of the cloud service. Replication either local, cross-facility or geo-redundant. | Source-Replica Replikation | Source-replica replication with eventual consistency | keine | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MapReduce Bietet ein API für Map/Reduce Operationen | ja Abfragen werden als Map/Reduce Jobs durchgeführt | Spark connector (open source): github.com/Azure/azure-kusto-spark | nein | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Konsistenzkonzept Methoden zur Sicherstellung der Konsistenz in einem verteilten System | Eventual Consistency | Eventual Consistency Immediate Consistency | Immediate Consistency | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Fremdschlüssel referenzielle Integrität | nein | nein | depending on model | nein | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Transaktionskonzept Unterstützung zur Sicherstellung der Datenintegrität bei nicht-atomaren Datenmanipulationen | nein | nein | ACID | ACID for single-table writes | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Concurrency Unterstützung von gleichzeitig ausgeführten Datenmanipulationen | ja | ja | ja | ja | ja | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Durability Dauerhafte Speicherung der Daten | ja | ja | ja Write ahead log | ja | ja | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| In-Memory Unterstützung Gibt es Möglichkeiten einige oder alle Strukturen nur im Hauptspeicher zu halten | nein | nein | ja | ja through memory mapped files | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Berechtigungskonzept Zugriffskontrolle | Zugriffsrechte für Benutzer, Gruppen und Rollen basiert auf Apache Sentry und Kerberos | Azure Active Directory Authentication | Role based authorization | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Weitere Informationen bereitgestellt vom Systemhersteller | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Apache Impala | Microsoft Azure Data Explorer | OrigoDB | QuestDB | Spark SQL | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Specific characteristics | Relational model with native time series support Column-based storage and time partitioned... » mehr | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Competitive advantages | High ingestion throughput: peak of 4M rows/sec (TSBS Benchmark) Code optimizations... » mehr | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typical application scenarios | Financial tick data Industrial IoT Application Metrics Monitoring » mehr | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Key customers | Banks & Hedge funds, Yahoo, OKX, Airbus, Aquis Exchange, Net App, Cloudera, Airtel,... » mehr | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Licensing and pricing models | Open source Apache 2.0 QuestDB Enterprise QuestDB Cloud » mehr | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Neuigkeiten | Fluid real-time dashboards with Grafana and QuestDB QuestDB 8.0: Major Release QuestDB and Raspberry Pi 5 benchmark, a pocket-sized powerhouse Build your own resource monitor with QuestDB and Grafana Does "vpmovzxbd" Scare You? Here's Why it Doesn't Have To | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Wir laden Vertreter der Systemhersteller ein uns zu kontaktieren, um die Systeminformationen zu aktualisieren und zu ergänzen, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Zugehörige Produkte und DienstleistungenWir laden Vertreter von Anbietern von zugehörigen Produkten ein uns zu kontaktieren, um hier Informationen über ihre Angebote zu präsentieren. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Weitere Ressourcen | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Apache Impala | Microsoft Azure Data Explorer | OrigoDB | QuestDB | Spark SQL | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Erwähnungen in aktuellen Nachrichten | Apache Impala becomes Top-Level Project Cloudera Bringing Impala to AWS Cloud Apache Doris just 'graduated': Why care about this SQL data warehouse Hudi: Uber Engineering’s Incremental Processing Framework on Apache Hadoop Updates & Upserts in Hadoop Ecosystem with Apache Kudu bereitgestellt von Google News | We’re retiring Azure Time Series Insights on 7 July 2024 – transition to Azure Data Explorer | Azure updates Update records in a Kusto Database (public preview) | Azure updates Public Preview: Azure Data Explorer connector for Apache Flink | Azure updates Announcing General Availability to migrate Virtual Network injected Azure Data Explorer Cluster to Private Endpoints ... Migration of Azure Virtual Network injected Azure Data Explorer cluster to Private Endpoints | Azure updates bereitgestellt von Google News | QuestDB snares $12M Series A with hosted version coming soon SQL Extensions for Time-Series Data in QuestDB Comparing Different Time-Series Databases QuestDB Raises $12M in Series A Funding Aquis Exchange goes live with QuestDB for real time monitoring bereitgestellt von Google News | Use Amazon Athena with Spark SQL for your open-source transactional table formats | Amazon Web Services What is Apache Spark? The big data platform that crushed Hadoop Cracking the Apache Spark Interview: 80+ Top Questions and Answers for 2024 Performant IPv4 Range Spark Joins | by Jean-Claude Cote Simba Technologies(R) Introduces New, Powerful JDBC Driver With SQL Connector for Apache Spark(TM) bereitgestellt von Google News | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Teilen sie diese Seite mit ihrem Netzwerk
