DBMS > Google BigQuery vs. Google Cloud Datastore vs. Snowflake vs. Tarantool vs. Weaviate
System Properties Comparison Google BigQuery vs. Google Cloud Datastore vs. Snowflake vs. Tarantool vs. Weaviate
Editorial information provided by DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Name | Google BigQuery Xexclude from comparison | Google Cloud Datastore Xexclude from comparison | Snowflake Xexclude from comparison | Tarantool Xexclude from comparison | Weaviate Xexclude from comparison | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Description | Large scale data warehouse service with append-only tables | Automatically scaling NoSQL Database as a Service (DBaaS) on the Google Cloud Platform | Cloud-based data warehousing service for structured and semi-structured data | In-memory computing platform with a flexible data schema for efficiently building high-performance applications | An AI-native realtime vector database engine that integrates scalable machine learning models. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Primary database model | Relational DBMS | Document store | Relational DBMS | Document store Key-value store Relational DBMS | Vector DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Secondary database models | Spatial DBMS with Tarantool/GIS extension | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Website | cloud.google.com/bigquery | cloud.google.com/datastore | www.snowflake.com | www.tarantool.io | github.com/weaviate/weaviate weaviate.io | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Technical documentation | cloud.google.com/bigquery/docs | cloud.google.com/datastore/docs | docs.snowflake.net/manuals/index.html | www.tarantool.io/en/doc | weaviate.io/developers/weaviate | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Developer | Snowflake Computing Inc. | VK | Weaviate B.V. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Initial release | 2010 | 2008 | 2014 | 2008 | 2019 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Current release | 2.10.0, May 2022 | 1.19, May 2023 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
License Commercial or Open Source | commercial | commercial | commercial | Open Source BSD-2, source-available extensions (modules), commercial licenses for Tarantool Enterprise | Open Source commercial license available with Weaviate Enterprise | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Cloud-based only Only available as a cloud service | yes | yes | yes | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DBaaS offerings (sponsored links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Implementation language | C and C++ | Go | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Server operating systems | hosted | hosted | hosted | BSD Linux macOS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Data scheme | yes | schema-free | yes support of semi-structured data formats (JSON, XML, Avro) | Flexible data schema: relational definition for tables with ability to store json-like documents in columns | yes, maps to GraphQL interface | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Typing predefined data types such as float or date | yes | yes, details here | yes | string, double, decimal, uuid, integer, blob, boolean, datetime | yes string, int, float, geo point, date, cross reference, fuzzy references | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
XML support Some form of processing data in XML format, e.g. support for XML data structures, and/or support for XPath, XQuery or XSLT. | no | no | yes | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Secondary indexes | no | yes | yes | yes all data objects are indexed in a semantic vector space (the Contextionary), all primitive fields are indexed | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
SQL Support of SQL | yes | SQL-like query language (GQL) | yes | Full-featured ANSI SQL support | GraphQL is used as query language | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
APIs and other access methods | RESTful HTTP/JSON API | gRPC (using protocol buffers) API RESTful HTTP/JSON API | CLI Client JDBC ODBC | Open binary protocol | GraphQL query language RESTful HTTP/JSON API | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Supported programming languages | .Net Java JavaScript Objective-C PHP Python Ruby | .Net Go Java JavaScript (Node.js) PHP Python Ruby | JavaScript (Node.js) Python | C C# C++ Erlang Go Java JavaScript Lua Perl PHP Python Rust | JavaScript / TypeScript Python | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Server-side scripts Stored procedures | user defined functions in JavaScript | using Google App Engine | user defined functions | Lua, C and SQL stored procedures | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Triggers | no | Callbacks using the Google Apps Engine | no similar concept for controling cloud resources | yes, before/after data modification events, on replication events, client session events | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Partitioning methods Methods for storing different data on different nodes | none | Sharding | yes | Sharding, partitioned with virtual buckets by user defined affinity key. Live resharding for scale up and scale down without maintenance downtime. | Sharding | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Replication methods Methods for redundantly storing data on multiple nodes | Multi-source replication using Paxos | yes | Asynchronous replication with multi-master option Configurable replication topology (full-mesh, chain, star) Synchronous quorum replication (with Raft) | yes | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
MapReduce Offers an API for user-defined Map/Reduce methods | no | yes using Google Cloud Dataflow | no | no | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Consistency concepts Methods to ensure consistency in a distributed system | Immediate Consistency | Immediate Consistency or Eventual Consistency depending on type of query and configuration Strong Consistency is default for entity lookups and queries within an Entity Group (but can instead be made eventually consistent). Other queries are always eventual consistent. | Immediate Consistency | Casual consistency across sharding partitions Eventual consistency within replicaset partition when using asyncronous replication Immediate Consistency within single instance Sequential consistency including linearizable read within replicaset partition when using Raft | Eventual Consistency | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Foreign keys Referential integrity | no | yes via ReferenceProperties or Ancestor paths | yes | yes | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Transaction concepts Support to ensure data integrity after non-atomic manipulations of data | no Since BigQuery is designed for querying data | ACID Serializable Isolation within Transactions, Read Committed outside of Transactions | ACID | ACID, with serializable isolation and linearizable read (within partition); Configurable MVCC (within partition); No cross-shard distributed transactions | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Concurrency Support for concurrent manipulation of data | yes | yes | yes | yes, cooperative multitasking | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Durability Support for making data persistent | yes | yes | yes | yes, write ahead logging | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
In-memory capabilities Is there an option to define some or all structures to be held in-memory only. | no | no | no | yes, full featured in-memory storage engine with persistence | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
User concepts Access control | Access privileges (owner, writer, reader) on dataset, table or view level Google Cloud Identity & Access Management (IAM) | Access rights for users, groups and roles based on Google Cloud Identity and Access Management (IAM) | Users with fine-grained authorization concept, user roles and pluggable authentication | Access Control Lists Mutual TLS authentication for Tarantol Enterprise Password based authentication Role-based access control (RBAC) and LDAP for Tarantol Enterprise Users and Roles | API Keys OpenID Connect Discovery | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
More information provided by the system vendor | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Google BigQuery | Google Cloud Datastore | Snowflake | Tarantool | Weaviate | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Specific characteristics | Weaviate is an open source vector database that is robust, scalable, cloud-native,... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Competitive advantages | Flexible deployment - Free, open source or fully-managed cloud vector database service... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Typical application scenarios | As a database supporting the development of generative AI and semantic search applications... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Key customers | All companies that have data. » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Market metrics | As of mid 2023: Over 2 million open source downloads 3500+ Weaviate Slack community... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Licensing and pricing models | Weaviate is open-source, and free to use. Weaviate is also available as a fully managed... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
We invite representatives of system vendors to contact us for updating and extending the system information, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Related products and services | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3rd parties | CData: Connect to Big Data & NoSQL through standard Drivers. » more | CData: Connect to Big Data & NoSQL through standard Drivers. » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
We invite representatives of vendors of related products to contact us for presenting information about their offerings here. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
More resources | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Google BigQuery | Google Cloud Datastore | Snowflake | Tarantool | Weaviate | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DB-Engines blog posts | PostgreSQL is the DBMS of the Year 2023 Snowflake is the DBMS of the Year 2022, defending the title from last year Cloud-based DBMS's popularity grows at high rates | Snowflake is the DBMS of the Year 2022, defending the title from last year Snowflake is the DBMS of the Year 2021 | Data processing speed and reliability: in-memory synchronous replication | Weaviate, an ANN Database with CRUD support Winning the 2020 Google Cloud Technology Partner of the Year – Infrastructure Modernization Award Hightouch Announces $38M in Funding and Launches New Customer 360 Toolkit Hightouch Raises $38M in Funding provided by Google News Google Cloud vs AWS: Which Cloud Computing Platform is Better? Best cloud storage of 2024 Google Gets Rid of Fees To Transfer Data Out of Cloud Platform Google App Engine 17 Top Cloud Storage Companies to Know provided by Google News SingleStore Partners With Snowflake to Help Users Build Faster, More Efficient Real Time AI Applications The Era of Enterprise AI in India is Here with Snowflake AI Data Cloud Leading the Charge Reflecting On Data Storage Stocks’ Q2 Earnings: Snowflake (NYSE:SNOW) BetaNXT takes on the data challenge with Snowflake-powered platform RudderStack Launches Data Apps, Powered by Snowflake, to Accelerate High-ROI Data Projects provided by Google News Deploying Tarantool Cartridge applications with zero effort (Part 1) VShard — horizontal scaling in Tarantool Accelerating PHP connectors for Tarantool using Async, Swoole, and Parallel provided by Google News Vector database startup Weaviate debuts ‘AI workbench’ and flexible storage tiers Weaviate Achieves Amazon Web Services GenAI Competency Status StructuredRAG Released by Weaviate: A Comprehensive Benchmark to Evaluate Large Language Models’ Ability to Generate Reliable JSON Outputs for Complex AI Systems Weaviate Enhances Cloud Console with New Collections and Explorer Tools for AI Developers Weaviate Raises $50 Million Series B Funding to Meet Soaring Demand for AI Native Vector Database Technology provided by Google News |
Share this page