DBMS > HBase vs. IBM Db2 vs. Microsoft Azure Data Explorer vs. Rockset vs. Solr
System Properties Comparison HBase vs. IBM Db2 vs. Microsoft Azure Data Explorer vs. Rockset vs. Solr
| Editorial information provided by DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Name | HBase Xexclude from comparison | IBM Db2  formerly named DB2 or IBM Database 2 Xexclude from comparison | Microsoft Azure Data Explorer Xexclude from comparison | Rockset Xexclude from comparison | Solr Xexclude from comparison | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Description | Wide-column store based on Apache Hadoop and on concepts of BigTable | Common in IBM host environments, 2 different versions for host and Windows/Linux | Fully managed big data interactive analytics platform | A scalable, reliable search and analytics service in the cloud, built on RocksDB | A widely used distributed, scalable search engine based on Apache Lucene | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Primary database model | Wide column store | Relational DBMS Since Version 10.5 support for JSON/BSON documents compatible with MongoDB | Relational DBMS column oriented | Document store | Search engine | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary database models | Document store RDF store in Db2 LUW (Linux, Unix, Windows)Spatial DBMS with Db2 Spatial Extender | Document store If a column is of type dynamic docs.microsoft.com/en-us/azure/kusto/query/scalar-data-types/dynamic then it's possible to add arbitrary JSON documents in this cell Event Store this is the general usage pattern at Microsoft. Billing, Logs, Telemetry events are stored in ADX and the state of an individual entity is defined by the arg_max(timestamps)Spatial DBMS Search engine support for complex search expressions docs.microsoft.com/en-us/azure/kusto/query/parseoperator FTS, Geospatial docs.microsoft.com/en-us/azure/kusto/query/geo-point-to-geohash-function distributed search -> ADX acts as a distributed search engineTime Series DBMS see docs.microsoft.com/en-us/azure/data-explorer/time-series-analysis | Relational DBMS Search engine | Spatial DBMS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Website | hbase.apache.org | www.ibm.com/products/db2 | azure.microsoft.com/services/data-explorer | rockset.com | solr.apache.org | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Technical documentation | hbase.apache.org/book.html | www.ibm.com/docs/en/db2 | docs.microsoft.com/en-us/azure/data-explorer | docs.rockset.com | solr.apache.org/resources.html | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Developer | Apache Software Foundation Apache top-level project, originally developed by Powerset | IBM | Microsoft | Rockset | Apache Software Foundation | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Initial release | 2008 | 1983 host version | 2019 | 2019 | 2006 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Current release | 2.3.4, January 2021 | 12.1, October 2016 | cloud service with continuous releases | 9.6.0, April 2024 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| License Commercial or Open Source | Open Source Apache version 2 | commercial free version is available | commercial | commercial | Open Source Apache Version 2 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Cloud-based only Only available as a cloud service | no | no | yes | yes | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DBaaS offerings (sponsored links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Implementation language | Java | C and C++ | C++ | Java | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server operating systems | Linux Unix Windows using Cygwin | AIX HP-UX Linux Solaris Windows z/OS | hosted | hosted | All OS with a Java VM runs as a servlet in servlet container (e.g. Tomcat, Jetty is included) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Data scheme | schema-free, schema definition possible | yes | Fixed schema with schema-less datatypes (dynamic) | schema-free | yes Dynamic Fields enables on-the-fly addition of new fields | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typing predefined data types such as float or date | options to bring your own types, AVRO | yes | yes bool, datetime, dynamic, guid, int, long, real, string, timespan, double: docs.microsoft.com/en-us/azure/kusto/query/scalar-data-types | dynamic typing | yes supports customizable data types and automatic typing | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| XML support Some form of processing data in XML format, e.g. support for XML data structures, and/or support for XPath, XQuery or XSLT. | no | yes | no ingestion from XML files supported | yes | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary indexes | no | yes | all fields are automatically indexed | all fields are automatically indexed | yes All search fields are automatically indexed | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL Support of SQL | no | yes | Kusto Query Language (KQL), SQL subset | Read-only SQL queries, including JOINs | Solr Parallel SQL Interface | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| APIs and other access methods | Java API RESTful HTTP API Thrift | ADO.NET JDBC JSON style queries MongoDB compatibleODBC XQuery | Microsoft SQL Server communication protocol (MS-TDS) RESTful HTTP API | HTTP REST | Java API RESTful HTTP/JSON API | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Supported programming languages | C C# C++ Groovy Java PHP Python Scala | C C# C++ Cobol Delphi Fortran Java Perl PHP Python Ruby Visual Basic | .Net Go Java JavaScript (Node.js) PowerShell Python R | Go Java JavaScript (Node.js) Python | .Net Erlang Java JavaScript any language that supports sockets and either XML or JSON Perl PHP Python Ruby Scala | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server-side scripts Stored procedures | yes Coprocessors in Java | yes | Yes, possible languages: KQL, Python, R | no | Java plugins | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Triggers | yes | yes | yes see docs.microsoft.com/en-us/azure/kusto/management/updatepolicy | no | yes User configurable commands triggered on index changes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Partitioning methods Methods for storing different data on different nodes | Sharding | Sharding only with Windows/Unix/Linux Version | Sharding Implicit feature of the cloud service | Automatic sharding | Sharding | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Replication methods Methods for redundantly storing data on multiple nodes | Multi-source replication Source-replica replication | yes with separate tools (MQ, InfoSphere) | yes Implicit feature of the cloud service. Replication either local, cross-facility or geo-redundant. | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MapReduce Offers an API for user-defined Map/Reduce methods | yes | no | Spark connector (open source): github.com/Azure/azure-kusto-spark | no | spark-solr: github.com/lucidworks/spark-solr and streaming expressions to reduce | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Consistency concepts Methods to ensure consistency in a distributed system | Immediate Consistency or Eventual Consistency | Eventual Consistency Immediate Consistency | Eventual Consistency | Eventual Consistency | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Foreign keys Referential integrity | no | yes | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Transaction concepts Support to ensure data integrity after non-atomic manipulations of data | Single row ACID (across millions of columns) | ACID | no | no | optimistic locking | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Concurrency Support for concurrent manipulation of data | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Durability Support for making data persistent | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| In-memory capabilities Is there an option to define some or all structures to be held in-memory only. | yes | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| User concepts Access control | Access Control Lists (ACL) for RBAC, integration with Apache Ranger for RBAC & ABAC | fine grained access rights according to SQL-standard | Azure Active Directory Authentication | Access rights for users and organizations can be defined via Rockset console | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
More information provided by the system vendorWe invite representatives of system vendors to contact us for updating and extending the system information, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Related products and servicesWe invite representatives of vendors of related products to contact us for presenting information about their offerings here. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More resources | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| HBase | IBM Db2 formerly named DB2 or IBM Database 2 | Microsoft Azure Data Explorer | Rockset | Solr | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DB-Engines blog posts | Cloudera's HBase PaaS offering now supports Complex Transactions Why is Hadoop not listed in the DB-Engines Ranking? | Elasticsearch replaced Solr as the most popular search engine Enterprise Search Engines almost double their popularity in the last 12 months The DB-Engines ranking includes now search engines Less Components, Higher Performance: Apache Doris instead of ClickHouse, MySQL, Presto, and HBase HBase: The database big data left behind Monitor Apache HBase on Amazon EMR using Amazon Managed Service for Prometheus and Amazon Managed ... HydraBase – The evolution of HBase@Facebook - Engineering at Meta A Look At HBase, the NoSQL Database Built on Hadoop provided by Google News Azure Data Explorer: Log and telemetry analytics benchmark Providing modern data transfer and storage service at Microsoft with Microsoft Azure - Inside Track Blog Controlling costs in Azure Data Explorer using down-sampling and aggregation Individually great, collectively unmatched: Announcing updates to 3 great Azure Data Services Log and Telemetry Analytics Performance Benchmark provided by Google News Rockset upgrades database to meet the needs of AI hybrid search – Blocks and Files Rockset Announces Native Support for Hybrid Search to Power AI Apps Data Management News for the Week of May 17; Updates from Anomalo, DataStax, Rockset & More Rockset launches native support for hybrid vector and text search to power AI apps Rockset targets cost control with latest database update provided by Google News SOLR-led walkout demands better conditions for Compass workers (SOLR) Technical Data SOLR hosts teach-in of labor movements at Northwestern SOLR hosts May Day amid ongoing contract negotiations SearchStax Launches Serverless Solr Service to Accelerate Cloud-Native Application Development provided by Google News | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Share this page
