DBMS > Google Cloud Datastore vs. Milvus vs. NebulaGraph vs. Spark SQL vs. Transbase
System Properties Comparison Google Cloud Datastore vs. Milvus vs. NebulaGraph vs. Spark SQL vs. Transbase
| Editorial information provided by DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Name | Google Cloud Datastore Xexclude from comparison | Milvus Xexclude from comparison | NebulaGraph Xexclude from comparison | Spark SQL Xexclude from comparison | Transbase Xexclude from comparison | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Description | Automatically scaling NoSQL Database as a Service (DBaaS) on the Google Cloud Platform | A DBMS designed for efficient storage of vector data and vector similarity searches | A distributed, linear scalable, high perfomant Graph DBMS | Spark SQL is a component on top of 'Spark Core' for structured data processing | A resource-optimized, high-performance, universally applicable RDBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Primary database model | Document store | Vector DBMS | Graph DBMS | Relational DBMS | Relational DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Website | cloud.google.com/datastore | milvus.io | github.com/vesoft-inc/nebula www.nebula-graph.io | spark.apache.org/sql | www.transaction.de/en/products/transbase.html | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Technical documentation | cloud.google.com/datastore/docs | milvus.io/docs/overview.md | docs.nebula-graph.io | spark.apache.org/docs/latest/sql-programming-guide.html | www.transaction.de/en/products/transbase/features.html | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Developer | Vesoft Inc. | Apache Software Foundation | Transaction Software GmbH | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Initial release | 2008 | 2019 | 2019 | 2014 | 1987 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Current release | 2.3.4, January 2024 | 3.5.0 ( 2.13), September 2023 | Transbase 8.3, 2022 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
License  Commercial or Open Source | commercial | Open Source Apache Version 2.0 | Open Source Apache Version 2.0 + Common Clause 1.0 | Open Source Apache 2.0 | commercial free development license | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Cloud-based only Only available as a cloud service | yes | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DBaaS offerings (sponsored links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | Zilliz Cloud – Cloud-native service for Milvus | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Implementation language | C++, Go | C++ | Scala | C and C++ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server operating systems | hosted | Linux macOS 10.14 or laterWindows with WSL 2 enabled | Linux | Linux OS X Windows | FreeBSD Linux macOS Solaris Windows | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Data scheme | schema-free | Strong typed schema | yes | yes | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typing predefined data types such as float or date | yes, details here | Vector, Numeric and String | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| XML support Some form of processing data in XML format, e.g. support for XML data structures, and/or support for XPath, XQuery or XSLT. | no | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary indexes | yes | no | yes Nebula Graph internally uses the Key-Value store RocksDB for persistency. The vertices, edges, and their properties are stored as Key while their values are stored as Value. The primary indexes are per Key and secondary indexes are per Value. | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL Support of SQL | SQL-like query language (GQL) | no | SQL-like query language | SQL-like DML and DDL statements | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| APIs and other access methods | gRPC (using protocol buffers) API RESTful HTTP/JSON API | RESTful HTTP API | Browser interface console (shell) Cypher Query Language GO Object Graph Mapper Java Object Graph Mapper NGBatis ORM framework for NebulaGraph and Spring-BootProprietary native API Python Object Graph Mapper Query language nGQL | JDBC ODBC | ADO.NET JDBC ODBC Proprietary native API | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Supported programming languages | .Net Go Java JavaScript (Node.js) PHP Python Ruby | C++ Go Java JavaScript (Node.js) Python | .Net C++ Go Java PHP Python | Java Python R Scala | C C# C++ Java JavaScript Kotlin Objective-C PHP Python | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server-side scripts Stored procedures | using Google App Engine | no | user defined functions | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Triggers | Callbacks using the Google Apps Engine | no | no | yes | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Partitioning methods Methods for storing different data on different nodes | Sharding | Sharding | Sharding | yes, utilizing Spark Core | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Replication methods Methods for redundantly storing data on multiple nodes | Multi-source replication using Paxos | Causal Clustering using Raft protocol | none | Source-replica replication | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MapReduce Offers an API for user-defined Map/Reduce methods | yes using Google Cloud Dataflow | no | no | no | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Consistency concepts Methods to ensure consistency in a distributed system | Immediate Consistency or Eventual Consistency depending on type of query and configuration Strong Consistency is default for entity lookups and queries within an Entity Group (but can instead be made eventually consistent). Other queries are always eventual consistent. | Bounded Staleness Eventual Consistency Immediate Consistency Session Consistency Tunable Consistency | Immediate Consistency | Immediate Consistency | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Foreign keys Referential integrity | yes via ReferenceProperties or Ancestor paths | no | yes Relationships in graphs | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Transaction concepts Support to ensure data integrity after non-atomic manipulations of data | ACID Serializable Isolation within Transactions, Read Committed outside of Transactions | no | ACID | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Concurrency Support for concurrent manipulation of data | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Durability Support for making data persistent | yes | yes | yes using RocksDB | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| In-memory capabilities Is there an option to define some or all structures to be held in-memory only. | no | yes | yes | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| User concepts Access control | Access rights for users, groups and roles based on Google Cloud Identity and Access Management (IAM) | Role based access control and fine grained access rights | Role-based access control | no | fine grained access rights according to SQL-standard | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More information provided by the system vendor | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Google Cloud Datastore | Milvus | NebulaGraph | Spark SQL | Transbase | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Specific characteristics | Milvus is an open-source and cloud-native vector database built for production-ready... » more | NebulaGraph is a truly distributed, linearly scalable, lightning-fast graph database,... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Competitive advantages | Highly available, versatile, and robust with millisecond latency. Supports batch... » more | NebulaGraph boasts the world's only graph database solution that is able to host... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typical application scenarios | RAG: retrieval augmented generation Video media : video understanding, video deduplication.... » more | Social networking Fraud detection Knowledge graph Data warehouse management Anti... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Key customers | Milvus is trusted by thousands of enterprises, including PayPal, eBay, IKEA, LINE,... » more | Companies from a variety of industries have implemented NebulaGraph Database in production,... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Market metrics | As of January 2024, 25k+ GitHub stars 10M+ downloads and installations 3k+ enterprise... » more | At our very early stage, NebulaGraph has already received over 10,000 stars on GitHub... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Licensing and pricing models | Milvus was released under the open-source Apache License 2.0 in October 2019. Fully-managed... » more | NebulaGraph is open source and free to use under Apache 2.0 license. » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
We invite representatives of system vendors to contact us for updating and extending the system information, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Related products and servicesWe invite representatives of vendors of related products to contact us for presenting information about their offerings here. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More resources | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Google Cloud Datastore | Milvus | NebulaGraph | Spark SQL | Transbase | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DB-Engines blog posts | Vector databases | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Recent citations in the news | Best cloud storage of 2024 Google Cloud Stops Exit Fees BigID Data Intelligence Platform Now Available on Google Cloud Marketplace What is Google App Engine? | Definition from TechTarget What Is Google Cloud Platform? provided by Google News | What Is Milvus Vector Database? Zilliz Unveils Game-Changing Features for Vector Search AI-Powered Search Engine With Milvus Vector Database on Vultr Milvus 2.4 Unveils Game-Changing Features for Enhanced Vector Search Zilliz Cloud boosts vector database performance provided by Google News | NebulaGraph Enterprise v5.0: The First Distributed Graph Database to Offer Native GQL Support NebulaGraph Enterprise v3.7.0 Empowers Enterprises to Build Knowledge Graphs with a Few Clicks NebulaGraph reaps from China’s growing appetite for graph databases Vesoft (NebulaGraph) Recognized in the Gartner® Market Guide for Graph Database Management Systems Beginner’s Guide to NebulaGraph Database | by Ng Wai Foong provided by Google News | Use Amazon Athena with Spark SQL for your open-source transactional table formats | Amazon Web Services What is Apache Spark? The big data platform that crushed Hadoop Cracking the Apache Spark Interview: 80+ Top Questions and Answers for 2024 1.5 Years of Spark Knowledge in 8 Tips | by Michael Berk Run Apache Hive workloads using Spark SQL with Amazon EMR on EKS | Amazon Web Services provided by Google News | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Share this page
