DBMS > Amazon CloudSearch vs. Amazon DynamoDB vs. etcd vs. Google Cloud Firestore vs. Kdb
System Properties Comparison Amazon CloudSearch vs. Amazon DynamoDB vs. etcd vs. Google Cloud Firestore vs. Kdb
Editorial information provided by DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Name | Amazon CloudSearch Xexclude from comparison | Amazon DynamoDB Xexclude from comparison | etcd Xexclude from comparison | Google Cloud Firestore Xexclude from comparison | Kdb Xexclude from comparison | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Description | A hosted search engine service by Amazon with the data stored in Amazons cloud | Hosted, scalable database service by Amazon with the data stored in Amazons cloud | A distributed reliable key-value store | Cloud Firestore is an auto-scaling document database for storing, syncing, and querying data for mobile and web apps. It offers seamless integration with other Firebase and Google Cloud Platform products. | High performance Time Series DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Primary database model | Search engine | Document store Key-value store | Key-value store | Document store | Time Series DBMS Vector DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Secondary database models | Relational DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Website | aws.amazon.com/cloudsearch | aws.amazon.com/dynamodb | etcd.io github.com/etcd-io/etcd | firebase.google.com/products/firestore | kx.com | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Technical documentation | docs.aws.amazon.com/cloudsearch | docs.aws.amazon.com/dynamodb | etcd.io/docs github.com/etcd-io/etcd/tree/master/Documentation | firebase.google.com/docs/firestore | code.kx.com | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Developer | Amazon | Amazon | Kx Systems, a division of First Derivatives plc | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Initial release | 2012 | 2012 | 2017 | 2000 kdb was released 2000, kdb+ in 2003 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Current release | 3.4, August 2019 | 3.6, May 2018 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
License Commercial or Open Source | commercial | commercial free tier for a limited amount of database operations | Open Source Apache Version 2.0 | commercial | commercial free 32-bit version | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Cloud-based only Only available as a cloud service | yes | yes | no | yes | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DBaaS offerings (sponsored links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Implementation language | Go | q | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Server operating systems | hosted | hosted | FreeBSD Linux Windows experimental | hosted | Linux OS X Solaris Windows | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Data scheme | yes | schema-free | schema-free | schema-free | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Typing predefined data types such as float or date | yes | yes | no | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
XML support Some form of processing data in XML format, e.g. support for XML data structures, and/or support for XPath, XQuery or XSLT. | no | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Secondary indexes | yes all search fields are automatically indexed | yes | no | yes | yes table attribute 'grouped' | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
SQL Support of SQL | no | no | no | no | SQL-like query language (q) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
APIs and other access methods | HTTP API | RESTful HTTP API | gRPC JSON over HTTP | Android gRPC (using protocol buffers) API iOS JavaScript API RESTful HTTP API | HTTP API JDBC Jupyter Kafka ODBC WebSocket | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Supported programming languages | .Net ColdFusion Erlang Groovy Java JavaScript Perl PHP Python Ruby | .Net C C++ Clojure Erlang Go Haskell Java JavaScript (Node.js) Perl PHP Python R Ruby Rust Scala Tcl | Go Java JavaScript JavaScript (Node.js) Objective-C Python | C C# C++ Go J Java JavaScript Lua MatLab Perl PHP Python R Scala | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Server-side scripts Stored procedures | no | no | no | yes, Firebase Rules & Cloud Functions | user defined functions | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Triggers | no | yes by integration with AWS Lambda | yes, watching key changes | yes, with Cloud Functions | yes with views | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Partitioning methods Methods for storing different data on different nodes | yes automatic partitioning across Amazon Search Instance as required | Sharding | Sharding | horizontal partitioning | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Replication methods Methods for redundantly storing data on multiple nodes | yes managed transparently by AWS | yes | Using Raft consensus algorithm to ensure data replication with strong consistency among multiple replicas. | Multi-source replication | Source-replica replication | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
MapReduce Offers an API for user-defined Map/Reduce methods | no | no may be implemented via Amazon Elastic MapReduce (Amazon EMR) | no | Using Cloud Dataflow | no similar paradigm used for internal processing | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Consistency concepts Methods to ensure consistency in a distributed system | Eventual Consistency Immediate Consistency can be specified for read operations | Immediate Consistency | Immediate Consistency | Immediate Consistency | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Foreign keys Referential integrity | no | no | no | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Transaction concepts Support to ensure data integrity after non-atomic manipulations of data | no | ACID ACID across one or more tables within a single AWS account and region | no | yes | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Concurrency Support for concurrent manipulation of data | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Durability Support for making data persistent | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
In-memory capabilities Is there an option to define some or all structures to be held in-memory only. | no | yes | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
User concepts Access control | authentication via encrypted signatures | Access rights for users and roles can be defined via the AWS Identity and Access Management (IAM) | no | Access rights for users, groups and roles based on Google Cloud Identity and Access Management. Security Rules for 3rd party authentication using Firebase Auth. | rights management via user accounts | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
More information provided by the system vendor | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Amazon CloudSearch | Amazon DynamoDB | etcd | Google Cloud Firestore | Kdb | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Specific characteristics | Integrated columnar database & programming system for streaming, real time and historical... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Competitive advantages | provides seamless scalability; runs on industry standard server platforms; is top-ranked... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Typical application scenarios | tick database streaming sensor data massive intelligence applications oil and gas... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Key customers | Goldman Sachs Morgan Stanley Merrill Lynch J.P. Morgan Deutsche Bank IEX Securities... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Market metrics | kdb+ performance and reliability proven by our customers in critical infrastructure... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Licensing and pricing models | upon request » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
We invite representatives of system vendors to contact us for updating and extending the system information, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Related products and services | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
3rd parties | CData: Connect to Big Data & NoSQL through standard Drivers. » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
We invite representatives of vendors of related products to contact us for presenting information about their offerings here. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
More resources | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Amazon CloudSearch | Amazon DynamoDB | etcd | Google Cloud Firestore | Kdb | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
DB-Engines blog posts | Amazon - the rising star in the DBMS market The DB-Engines ranking includes now search engines | Cloud-based DBMS's popularity grows at high rates The popularity of cloud-based DBMSs has increased tenfold in four years Increased popularity for consuming DBMS services out of the cloud | Cloud-based DBMS's popularity grows at high rates | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Recent citations in the news | Amazon CloudSearch – Start Searching in One Hour for Less Than $100 / Month | Amazon Web Services Amazon CloudSearch – Even Better Searching for Less Than $100/Month | Amazon Web Services Amazon Takes On Google And Microsoft With CloudSearch AWS, Microsoft and Google should retire these cloud services Searching CloudTrail Logs Easily with Amazon CloudSearch | AWS Startups Blog provided by Google News | Uber Migrates 1 Trillion Records from DynamoDB to LedgerStore to Save $6 Million Annually Using the circuit-breaker pattern with AWS Lambda extensions and Amazon DynamoDB | Amazon Web Services Continuously replicate Amazon DynamoDB changes to Amazon Aurora PostgreSQL using AWS Lambda | Amazon ... Migrating Uber's Ledger Data from DynamoDB to LedgerStore Zendesk Moves from DynamoDB to MySQL and S3 to Save over 80% in Costs provided by Google News | Monitor Amazon EKS Control Plane metrics using AWS Open Source monitoring services | Amazon Web Services Apache APISIX Without etcd? RBI reiterates need for underlying forex exposure for rupee derivatives transactions | Mint Killing a market, softly: How an RBI communique could end India's thriving ETCD market Public preview: AKS cluster control plane metrics in managed Prometheus | Azure updates provided by Google News | Realtime vs Cloud Firestore: Which Firebase Database to go? Google's AI-First Strategy Brings Vector Support To Cloud Databases Google's Cloud Firestore is now generally available Google launches Cloud Firestore, a new document database for app developers Google's Cloud-Native NoSQL Database Cloud Firestore Is Now Generally Available provided by Google News | Turbocharging the Engine: KX Unleashes AI-First Transformation with kdb+ McLaren Applied and KX partner to enhance ATLAS software analytics capabilities KX Brings the Power and Performance of kdb+ to Python Developers with PyKX Introducing Amazon FinSpace with Managed kdb Insights, a fully managed analytics engine, commonly used by capital ... KX ANNOUNCES KDB INSIGHTS AS FULLY MANAGED SERVICE ON AMAZON FINSPACE provided by Google News |
Share this page