DBMS > Apache Druid vs. DuckDB vs. Google Cloud Bigtable vs. HEAVY.AI vs. XTDB
System Properties Comparison Apache Druid vs. DuckDB vs. Google Cloud Bigtable vs. HEAVY.AI vs. XTDB
| Editorial information provided by DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Name | Apache Druid Xexclude from comparison | DuckDB Xexclude from comparison | Google Cloud Bigtable Xexclude from comparison | HEAVY.AI  Formerly named 'OmniSci', rebranded to 'HEAVY.AI' in March 2022 Xexclude from comparison | XTDB formerly named Crux Xexclude from comparison | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Description | Open-source analytics data store designed for sub-second OLAP queries on high dimensionality and high cardinality data | An embeddable, in-process, column-oriented SQL OLAP RDBMS | Google's NoSQL Big Data database service. It's the same database that powers many core Google services, including Search, Analytics, Maps, and Gmail. | A high performance, column-oriented RDBMS, specifically developed to harness the massive parallelism of modern CPU and GPU hardware | A general purpose database with bitemporal SQL and Datalog and graph queries | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Primary database model | Relational DBMS Time Series DBMS | Relational DBMS | Key-value store Wide column store | Relational DBMS | Document store | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary database models | Spatial DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Website | druid.apache.org | duckdb.org | cloud.google.com/bigtable | github.com/heavyai/heavydb www.heavy.ai | github.com/xtdb/xtdb www.xtdb.com | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Technical documentation | druid.apache.org/docs/latest/design | duckdb.org/docs | cloud.google.com/bigtable/docs | docs.heavy.ai | www.xtdb.com/docs | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Developer | Apache Software Foundation and contributors | HEAVY.AI, Inc. | Juxt Ltd. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Initial release | 2012 | 2018 | 2015 | 2016 | 2019 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Current release | 30.0.0, June 2024 | 1.0.0, June 2024 | 5.10, January 2022 | 1.19, September 2021 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| License Commercial or Open Source | Open Source Apache license v2 | Open Source MIT License | commercial | Open Source Apache Version 2; enterprise edition available | Open Source MIT License | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Cloud-based only Only available as a cloud service | no | no | yes | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DBaaS offerings (sponsored links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Implementation language | Java | C++ | C++ and CUDA | Clojure | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server operating systems | Linux OS X Unix | server-less | hosted | Linux | All OS with a Java 8 (and higher) VM Linux | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Data scheme | yes schema-less columns are supported | yes | schema-free | yes | schema-free | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typing predefined data types such as float or date | yes | yes | no | yes | yes, extensible-data-notation format | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| XML support Some form of processing data in XML format, e.g. support for XML data structures, and/or support for XPath, XQuery or XSLT. | no | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary indexes | yes | yes | no | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL Support of SQL | SQL for querying | yes | no | yes | limited SQL, making use of Apache Calcite | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| APIs and other access methods | JDBC RESTful HTTP/JSON API | Arrow Database Connectivity (ADBC) CLI Client JDBC ODBC | gRPC (using protocol buffers) API HappyBase (Python library) HBase compatible API (Java) | JDBC ODBC Thrift Vega | HTTP REST JDBC | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Supported programming languages | Clojure JavaScript PHP Python R Ruby Scala | C C# 3rd party driverC++ Crystal 3rd party driverGo 3rd party driverJava Lisp 3rd party driverPython R Ruby 3rd party driverRust Swift Zig 3rd party driver | C# C++ Go Java JavaScript (Node.js) Python | All languages supporting JDBC/ODBC/Thrift Python | Clojure Java | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server-side scripts Stored procedures | no | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Triggers | no | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Partitioning methods Methods for storing different data on different nodes | Sharding manual/auto, time-based | none | Sharding | Sharding Round robin | none | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Replication methods Methods for redundantly storing data on multiple nodes | yes, via HDFS, S3 or other storage engines | none | Internal replication in Colossus, and regional replication between two clusters in different zones | Multi-source replication | yes, each node contains all data | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MapReduce Offers an API for user-defined Map/Reduce methods | no | no | yes | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Consistency concepts Methods to ensure consistency in a distributed system | Immediate Consistency | Immediate Consistency | Immediate consistency (for a single cluster), Eventual consistency (for two or more replicated clusters) | Immediate Consistency | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Foreign keys Referential integrity | no | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Transaction concepts Support to ensure data integrity after non-atomic manipulations of data | no | ACID | Atomic single-row operations | no | ACID | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Concurrency Support for concurrent manipulation of data | yes | yes, multi-version concurrency control (MVCC) | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Durability Support for making data persistent | yes | yes | yes | yes | yes, flexibel persistency by using storage technologies like Apache Kafka, RocksDB or LMDB | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| In-memory capabilities Is there an option to define some or all structures to be held in-memory only. | no | yes | no | yes | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| User concepts Access control | RBAC using LDAP or Druid internals for users and groups for read/write by datasource and system | no | Access rights for users, groups and roles based on Google Cloud Identity and Access Management (IAM) | fine grained access rights according to SQL-standard | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
More information provided by the system vendorWe invite representatives of system vendors to contact us for updating and extending the system information, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Related products and servicesWe invite representatives of vendors of related products to contact us for presenting information about their offerings here. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More resources | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Apache Druid | DuckDB | Google Cloud Bigtable | HEAVY.AI Formerly named 'OmniSci', rebranded to 'HEAVY.AI' in March 2022 | XTDB formerly named Crux | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Recent citations in the news | Apache® Druid Wins Best Big Data Product in the 2023 BigDATAwire Readers’ Choice Awards 'Lucifer' Botnet Turns Up the Heat on Apache Hadoop Servers Imply Honored With 2023 Confluent Rising Star Partner of the Year Award How to connect DataGrip to Apache Druid Apache Druid Takes Its Place In The Pantheon Of Databases provided by Google News | What's new in ArcGIS Data Interoperability at Pro 3.4 My First Billion (of Rows) in DuckDB MotherDuck Announces Beta Release of pg_duckdb; Brings DuckDB's Analytics Power to PostgreSQL Users PostgreSQL in line for DuckDB-shaped boost in analytics arena TigerEye releases open-source DuckDB.dart to simplify data-intensive application development provided by Google News | Google Cloud adds graph processing to Spanner, SQL support to Bigtable Google introduces Bigtable SQL access and Spanner's new AI-ready features Google Cloud Rolls Out Axion-Based C4A VMs for Improved Performance Google Cloud expands its database portfolio with new AI capabilities Sifflet Achieves Google Cloud Ready - BigQuery Designation provided by Google News | 5 Q’s for Mike Flaxman, Vice President of Heavy.AI HEAVY.AI Accelerates Big Data Analytics with Vultr's High-Performance GPU Cloud Infrastructure HEAVY.AI Launches HEAVY 7.0, Introducing Real-Time Machine Learning Capabilities Generative AI Is Powerful—And Power Hungry Op-Ed: The killer app for 5G gets unveiled with iPhone 16 provided by Google News | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Share this page
