DBMS > Apache Kylin vs. Hive vs. Microsoft Azure Data Explorer vs. RDFox vs. Spark SQL
Vergleich der Systemeigenschaften Apache Kylin vs. Hive vs. Microsoft Azure Data Explorer vs. RDFox vs. Spark SQL
| Redaktionelle Informationen bereitgestellt von DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Name | Apache Kylin Xaus Vergleich ausschliessen | Hive Xaus Vergleich ausschliessen | Microsoft Azure Data Explorer Xaus Vergleich ausschliessen | RDFox Xaus Vergleich ausschliessen | Spark SQL Xaus Vergleich ausschliessen | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Kurzbeschreibung | A distributed analytics engine for big data, providing a SQL interface and multi-dimensional analysis (OLAP) and leveraging the Hadoop stack | Data Warehouse Software zum Abfragen und Verwalten großer verteilter Datenmengen beispielsweise in Hadoop | Fully managed big data interactive analytics platform | High performance knowledge graph and semantic reasoning engine | Spark SQL ist ein Spark-Modul für die Verarbeitung strukturierter Daten | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Primäres Datenbankmodell | Relational DBMS | Relational DBMS | Relational DBMS  column oriented | Graph DBMS RDF Store | Relational DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Sekundäre Datenbankmodelle | Document Store If a column is of type dynamic docs.microsoft.com/en-us/azure/kusto/query/scalar-data-types/dynamic then it's possible to add arbitrary JSON documents in this cell Event Store this is the general usage pattern at Microsoft. Billing, Logs, Telemetry events are stored in ADX and the state of an individual entity is defined by the arg_max(timestamps)Spatial DBMS Suchmaschine support for complex search expressions docs.microsoft.com/en-us/azure/kusto/query/parseoperator FTS, Geospatial docs.microsoft.com/en-us/azure/kusto/query/geo-point-to-geohash-function distributed search -> ADX acts as a distributed search engineTime Series DBMS see docs.microsoft.com/en-us/azure/data-explorer/time-series-analysis | Relational DBMS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Website | kylin.apache.org | hive.apache.org | azure.microsoft.com/services/data-explorer | www.oxfordsemantic.tech | spark.apache.org/sql | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Technische Dokumentation | kylin.apache.org/docs | cwiki.apache.org/confluence/display/Hive/Home | docs.microsoft.com/en-us/azure/data-explorer | docs.oxfordsemantic.tech | spark.apache.org/docs/latest/sql-programming-guide.html | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Entwickler | Apache Software Foundation, originally contributed from eBay Inc | Apache Software Foundation Ursprünglich von Facebook entwickelt | Microsoft | Oxford Semantic Technologies | Apache Software Foundation | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Erscheinungsjahr | 2015 | 2012 | 2019 | 2017 | 2014 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Aktuelle Version | 3.1.0, Juli 2020 | 3.1.3, April 2022 | cloud service with continuous releases | 6.0, Septermber 2022 | 3.5.0 ( 2.13), September 2023 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Lizenz Commercial or Open Source | Open Source Apache Version 2.0 | Open Source Apache Version 2 | kommerziell | kommerziell | Open Source Apache 2.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Ausschließlich ein Cloud-Service Nur als Cloud-Service verfügbar | nein | nein | ja | nein | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DBaaS Angebote (gesponserte Links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Implementierungssprache | Java | Java | C++ | Scala | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server Betriebssysteme | Linux | Alle Betriebssysteme mit einer Java VM | gehostet | Linux macOS Windows | Linux OS X Windows | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Datenschema | ja | ja | Fixed schema with schema-less datatypes (dynamic) | ja RDF schemas | ja | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typisierung vordefinierte Datentypen, z.B. float oder date | ja | ja | ja bool, datetime, dynamic, guid, int, long, real, string, timespan, double: docs.microsoft.com/en-us/azure/kusto/query/scalar-data-types | ja | ja | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| XML Unterstützung Verarbeitung von Daten in XML Format, beispielsweise Speicherung von XML-Strukturen und/oder Unterstützung von XPath, XQuery, XSLT | nein | ja | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Sekundärindizes | ja | ja | all fields are automatically indexed | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL Support of SQL | ANSI SQL for queries (using Apache Calcite) | SQL-like DML and DDL statements | Kusto Query Language (KQL), SQL subset | nein | SQL-like DML and DDL statements | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| APIs und andere Zugriffskonzepte | JDBC ODBC RESTful HTTP API | JDBC ODBC Thrift | Microsoft SQL Server communication protocol (MS-TDS) RESTful HTTP API | RESTful HTTP API SPARQL 1.1 | JDBC ODBC | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Unterstützte Programmiersprachen | C++ Java PHP Python | .Net Go Java JavaScript (Node.js) PowerShell Python R | C Java | Java Python R Scala | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server-seitige Scripts Stored Procedures | ja Benutzerdefinierte Funktion und Map-Reduce Integration | Yes, possible languages: KQL, Python, R | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Triggers | nein | ja see docs.microsoft.com/en-us/azure/kusto/management/updatepolicy | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Partitionierungsmechanismen Methoden zum Speichern von unterschiedlichen Daten auf unterschiedlichen Knoten | Sharding | Sharding Implicit feature of the cloud service | yes, utilizing Spark Core | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Replikationsmechanismen Methoden zum redundanten Speichern von Daten auf mehreren Knoten | frei wählbarer Replikationsfaktor | ja Implicit feature of the cloud service. Replication either local, cross-facility or geo-redundant. | replication via a shared file system | keine | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MapReduce Bietet ein API für Map/Reduce Operationen | ja | ja Abfragen werden als MapReduce Jobs behandelt | Spark connector (open source): github.com/Azure/azure-kusto-spark | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Konsistenzkonzept Methoden zur Sicherstellung der Konsistenz in einem verteilten System | Immediate Consistency | Eventual Consistency | Eventual Consistency Immediate Consistency | Immediate Consistency in stand-alone mode, Eventual Consistency in replicated setups | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Fremdschlüssel referenzielle Integrität | nein | nein | nein | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Transaktionskonzept Unterstützung zur Sicherstellung der Datenintegrität bei nicht-atomaren Datenmanipulationen | nein | nein | ACID | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Concurrency Unterstützung von gleichzeitig ausgeführten Datenmanipulationen | ja | ja | ja | ja | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Durability Dauerhafte Speicherung der Daten | ja | ja | ja | ja | ja | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| In-Memory Unterstützung Gibt es Möglichkeiten einige oder alle Strukturen nur im Hauptspeicher zu halten | nein | nein | ja | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Berechtigungskonzept Zugriffskontrolle | Zugriffsrechte für Benutzer, Gruppen und Rollen | Azure Active Directory Authentication | Roles, resources, and access types | nein | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Weitere Informationen bereitgestellt vom SystemherstellerWir laden Vertreter der Systemhersteller ein uns zu kontaktieren, um die Systeminformationen zu aktualisieren und zu ergänzen, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Zugehörige Produkte und DienstleistungenWir laden Vertreter von Anbietern von zugehörigen Produkten ein uns zu kontaktieren, um hier Informationen über ihre Angebote zu präsentieren. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Weitere Ressourcen | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Apache Kylin | Hive | Microsoft Azure Data Explorer | RDFox | Spark SQL | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DB-Engines Blog Posts | Why is Hadoop not listed in the DB-Engines Ranking? | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Erwähnungen in aktuellen Nachrichten | Introducing Kyligence Copilot: The AI Copilot for Data to Excel Your KPIs Overhauling Apache Kylin for the cloud eBay's Kylin Becomes a Top-Level Apache Open Source Project The Apache Software Foundation Announces Apache™ Kylin™ as a Top-Level Project Distributed OLAPer Kyligence accelerates core engine, adds real-time data support – Blocks and Files bereitgestellt von Google News | Apache Software Foundation Announces Apache® Hive 4.0 ASF Unveils the Next Evolution of Big Data Processing With the Launch of Hive 4.0 Run Apache Hive workloads using Spark SQL with Amazon EMR on EKS | Amazon Web Services 18 Top Big Data Tools and Technologies to Know About in 2024 DataCentral: Uber's Observability and Chargeback Platform bereitgestellt von Google News | Azure Data Explorer: Log and telemetry analytics benchmark Providing modern data transfer and storage service at Microsoft with Microsoft Azure - Inside Track Blog Controlling costs in Azure Data Explorer using down-sampling and aggregation Individually great, collectively unmatched: Announcing updates to 3 great Azure Data Services Analytics in Azure is up to 14x faster and costs 94% less than other cloud providers. Why go anywhere else? bereitgestellt von Google News | Use semantic reasoning to infer new facts from your RDF graph by integrating RDFox with Amazon Neptune | Amazon ... The intuitions behind Knowledge Graphs and Reasoning | by Peter Crocker Eight interesting open-source graph databases Financial Crime Discovery using Amazon EKS and Graph Databases | Amazon Web Services Finding patterns with rules, using Knowledge Graphs and Semantic Reasoning | by Peter Crocker bereitgestellt von Google News | Use Amazon Athena with Spark SQL for your open-source transactional table formats | Amazon Web Services What is Apache Spark? The big data platform that crushed Hadoop Cracking the Apache Spark Interview: 80+ Top Questions and Answers for 2024 Performant IPv4 Range Spark Joins | by Jean-Claude Cote 18 Top Big Data Tools and Technologies to Know About in 2024 bereitgestellt von Google News | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Teilen sie diese Seite mit ihrem Netzwerk
