DBMS > Alibaba Cloud MaxCompute vs. CrateDB vs. eXtremeDB vs. Google Cloud Bigtable vs. Spark SQL
System Properties Comparison Alibaba Cloud MaxCompute vs. CrateDB vs. eXtremeDB vs. Google Cloud Bigtable vs. Spark SQL
| Editorial information provided by DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Name | Alibaba Cloud MaxCompute Xexclude from comparison | CrateDB Xexclude from comparison | eXtremeDB Xexclude from comparison | Google Cloud Bigtable Xexclude from comparison | Spark SQL Xexclude from comparison | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Description | MaxCompute (previously known as ODPS) is a general purpose, fully managed, multi-tenancy data processing platform for large-scale data warehousing | Distributed Database based on Lucene | Natively in-memory DBMS with options for persistency, high-availability and clustering | Google's NoSQL Big Data database service. It's the same database that powers many core Google services, including Search, Analytics, Maps, and Gmail. | Spark SQL is a component on top of 'Spark Core' for structured data processing | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Primary database model | Relational DBMS  a graph-processing framework is available with the graphs being stored in tables | Document store Spatial DBMS Search engine Time Series DBMS Vector DBMS | Relational DBMS Time Series DBMS | Key-value store Wide column store | Relational DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary database models | Relational DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Website | www.alibabacloud.com/product/maxcompute | cratedb.com | www.mcobject.com | cloud.google.com/bigtable | spark.apache.org/sql | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Technical documentation | www.alibabacloud.com/help/en/maxcompute | cratedb.com/docs | www.mcobject.com/docs/extremedb.htm | cloud.google.com/bigtable/docs | spark.apache.org/docs/latest/sql-programming-guide.html | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Developer | Alibaba | Crate | McObject | Apache Software Foundation | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Initial release | 2016 | 2013 | 2001 | 2015 | 2014 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Current release | 8.2, 2021 | 3.5.0 ( 2.13), September 2023 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| License Commercial or Open Source | commercial | Open Source | commercial | commercial | Open Source Apache 2.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Cloud-based only Only available as a cloud service | yes | no | no | yes | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DBaaS offerings (sponsored links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | CrateDB Cloud: a distributed SQL database that spreads data and processing across an elastic cluster of shared nothing nodes. CrateDB Cloud enables data insights at scale on Microsoft Azure, AWS and Google Cloud Platform. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Implementation language | Java | C and C++ | Scala | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server operating systems | hosted | All Operating Systems, including Kubernetes with CrateDB Kubernetes Operator support | AIX HP-UX Linux macOS Solaris Windows | hosted | Linux OS X Windows | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Data scheme | yes | Flexible Schema (defined schema, partial schema, schema free) | yes | schema-free | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typing predefined data types such as float or date | yes | yes | yes | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| XML support Some form of processing data in XML format, e.g. support for XML data structures, and/or support for XPath, XQuery or XSLT. | no | no | no support of XML interfaces available | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary indexes | no | yes | yes | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL Support of SQL | SQL-like query language | yes, but no triggers and constraints, and PostgreSQL compatibility | yes with the option: eXtremeSQL | no | SQL-like DML and DDL statements | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| APIs and other access methods | Fluentd Flume MaxCompute Console | ADO.NET JDBC ODBC PostgreSQL wire protocol Prometheus Remote Read/Write RESTful HTTP API | .NET Client API JDBC JNI ODBC Proprietary protocol RESTful HTTP API | gRPC (using protocol buffers) API HappyBase (Python library) HBase compatible API (Java) | JDBC ODBC | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Supported programming languages | Java | .NET Erlang Go community maintained clientJava JavaScript (Node.js) community maintained clientPerl community maintained clientPHP Python R Ruby community maintained clientScala community maintained client | .Net C C# C++ Java Lua Python Scala | C# C++ Go Java JavaScript (Node.js) Python | Java Python R Scala | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server-side scripts Stored procedures | user defined functions in Java | user defined functions (Javascript) | yes | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Triggers | no | no | yes by defining events | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Partitioning methods Methods for storing different data on different nodes | Sharding Implicit feature of the cloud service | Sharding | horizontal partitioning / sharding | Sharding | yes, utilizing Spark Core | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Replication methods Methods for redundantly storing data on multiple nodes | yes Implicit feature of the cloud service | Configurable replication on table/partition-level | Active Replication Fabric™ for IoT Multi-source replication by means of eXtremeDB Cluster optionSource-replica replication by means of eXtremeDB High Availability option | Internal replication in Colossus, and regional replication between two clusters in different zones | none | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MapReduce Offers an API for user-defined Map/Reduce methods | yes | no | no | yes | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Consistency concepts Methods to ensure consistency in a distributed system | Immediate Consistency | Eventual Consistency Read-after-write consistency on record level | Immediate Consistency | Immediate consistency (for a single cluster), Eventual consistency (for two or more replicated clusters) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Foreign keys Referential integrity | no | no | yes | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Transaction concepts Support to ensure data integrity after non-atomic manipulations of data | no | no unique row identifiers can be used for implementing an optimistic concurrency control strategy | ACID | Atomic single-row operations | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Concurrency Support for concurrent manipulation of data | yes | yes | yes Optimistic (MVCC) and pessimistic (locking) strategies available | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Durability Support for making data persistent | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| In-memory capabilities Is there an option to define some or all structures to be held in-memory only. | no | no | yes | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| User concepts Access control | Access rights for users and roles | rights management via user accounts | Access rights for users, groups and roles based on Google Cloud Identity and Access Management (IAM) | no | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More information provided by the system vendor | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Alibaba Cloud MaxCompute | CrateDB | eXtremeDB | Google Cloud Bigtable | Spark SQL | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Specific characteristics | The enterprise database for time series, documents, and vectors. Distributed - Native... » more | eXtremeDB is an in-memory and/or persistent database system that offers an ultra-small... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Competitive advantages | Response time in milliseconds: e ven for complex ad-hoc queries. Massive scaling... » more | eXtremeDB databases can be modeled relationally or as objects and can utilize SQL... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typical application scenarios | IoT: accelerate your IIoT projects with CrateDB, delivering real-time analytics... » more | IoT application across all markets: Industrial Control, Netcom, Telecom, Defense,... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Key customers | Across all continents, CrateDB is used by companies of all sizes to meet the most... » more | Schneider Electronics, F5 Networks, TNS, Boeing, Northrop Grumman, GoPro, ViaSat,... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Market metrics | The CrateDB open source project was started in 2013 Honorable Mention in 2021 Gartner®... » more | With hundreds of customers and over 30 million devices/applications using the product... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Licensing and pricing models | See CrateDB pricing > » more | For server use cases, there is a simple per-server license irrespective of the number... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
We invite representatives of system vendors to contact us for updating and extending the system information, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Related products and servicesWe invite representatives of vendors of related products to contact us for presenting information about their offerings here. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More resources | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Alibaba Cloud MaxCompute | CrateDB | eXtremeDB | Google Cloud Bigtable | Spark SQL | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Recent citations in the news | Alibaba Cloud To Launch Big Data Service in Europe Streaming Data Services Comparison: Alibaba Cloud, AWS, Azure, Google Cloud, IBM Cloud AWS, Oracle, Google, Microsoft Top Cloud DBMS Market: Gartner AWS, IBM, Microsoft, Google emerge Cloud DBMS leaders Alibaba VP Yangqing Jia to Quit and Start Own AI Business provided by Google News | CrateDB Announces Availability of CrateDB on Google Cloud Marketplace CrateDB Partners with HiveMQ to Advance IoT Data Management and Analytics Across Industries How We Designed CrateDB as a Realtime SQL DBMS for the Internet of Things Crate.io Introduces CrateDB 2.0 Enterprise and Open Source Editions Crate.io raises $10M to grow its database platform provided by Google News | eXtremeDB 8.4 Unveils Exciting New Features and Enhancements Latest embedded DBMS supports asymmetric multiprocessing systems McObject Announces the Release of eXtremeDB/rt 1.2 The Data in Hard Real-time SCADA Systems Lets Companies Do More with Less McObject’s new eXtremeDB Cluster provides distributed database solution for real-time apps provided by Google News | Google's AI-First Strategy Brings Vector Support To Cloud Databases Google Introduces Autoscaling for Cloud Bigtable for Optimizing Costs Google scales up Cloud Bigtable NoSQL database Google introduces Cloud Bigtable managed NoSQL database to process data at scale Google Launches Cloud Bigtable, A Highly Scalable And Performant NoSQL Database provided by Google News | Use Amazon Athena with Spark SQL for your open-source transactional table formats | Amazon Web Services What is Apache Spark? The big data platform that crushed Hadoop Cracking the Apache Spark Interview: 80+ Top Questions and Answers for 2024 Performant IPv4 Range Spark Joins | by Jean-Claude Cote 18 Top Big Data Tools and Technologies to Know About in 2024 provided by Google News | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Share this page
