DBMS > Apache Druid vs. Elasticsearch vs. Milvus vs. SpatiaLite vs. Splunk
System Properties Comparison Apache Druid vs. Elasticsearch vs. Milvus vs. SpatiaLite vs. Splunk
| Editorial information provided by DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Name | Apache Druid Xexclude from comparison | Elasticsearch Xexclude from comparison | Milvus Xexclude from comparison | SpatiaLite Xexclude from comparison | Splunk Xexclude from comparison | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Description | Open-source analytics data store designed for sub-second OLAP queries on high dimensionality and high cardinality data | A distributed, RESTful modern search and analytics engine based on Apache Lucene  Elasticsearch lets you perform and combine many types of searches such as structured, unstructured, geo, and metric | A DBMS designed for efficient storage of vector data and vector similarity searches | Spatial extension of SQLite | Analytics Platform for Big Data | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Primary database model | Relational DBMS Time Series DBMS | Search engine Vector DBMS | Vector DBMS | Spatial DBMS | Search engine | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary database models | Document store Spatial DBMS | Relational DBMS | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Website | druid.apache.org | www.elastic.co/elasticsearch | milvus.io | www.gaia-gis.it/fossil/libspatialite/index | www.splunk.com | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Technical documentation | druid.apache.org/docs/latest/design | www.elastic.co/guide/en/elasticsearch/reference/current/index.html | milvus.io/docs/overview.md | www.gaia-gis.it/gaia-sins/spatialite_topics.html | docs.splunk.com/Documentation/Splunk | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Developer | Apache Software Foundation and contributors | Elastic | Alessandro Furieri | Splunk Inc. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Initial release | 2012 | 2010 | 2019 | 2008 | 2003 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Current release | 30.0.0, June 2024 | 8.6, January 2023 | 2.4.4, May 2024 | 5.0.0, August 2020 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| License Commercial or Open Source | Open Source Apache license v2 | Open Source Elastic License | Open Source Apache Version 2.0 | Open Source MPL 1.1, GPL v2.0 or LGPL v2.1 | commercial Limited free edition and free developer edition available | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Cloud-based only Only available as a cloud service | no | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DBaaS offerings (sponsored links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | Zilliz Cloud – Cloud-native service for Milvus | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Implementation language | Java | Java | C++, Go | C++ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server operating systems | Linux OS X Unix | All OS with a Java VM | Linux macOS 10.14 or laterWindows with WSL 2 enabled | server-less | Linux OS X Solaris Windows | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Data scheme | yes schema-less columns are supported | schema-free Flexible type definitions. Once a type is defined, it is persistent | yes | yes | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typing predefined data types such as float or date | yes | yes | Vector, Numeric and String | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| XML support Some form of processing data in XML format, e.g. support for XML data structures, and/or support for XPath, XQuery or XSLT. | no | no | no | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary indexes | yes | yes All search fields are automatically indexed | no | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL Support of SQL | SQL for querying | SQL-like query language | no | yes | no Splunk Search Processing Language for search commands | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| APIs and other access methods | JDBC RESTful HTTP/JSON API | Java API RESTful HTTP/JSON API | RESTful HTTP API | HTTP REST | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Supported programming languages | Clojure JavaScript PHP Python R Ruby Scala | .Net Groovy Community Contributed Clients Java JavaScript Perl PHP Python Ruby | C++ Go Java JavaScript (Node.js) Python | C# Java JavaScript PHP Python Ruby | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server-side scripts Stored procedures | no | yes | no | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Triggers | no | yes by using the 'percolation' feature | no | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Partitioning methods Methods for storing different data on different nodes | Sharding manual/auto, time-based | Sharding | Sharding | none | Sharding | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Replication methods Methods for redundantly storing data on multiple nodes | yes, via HDFS, S3 or other storage engines | yes | none | Multi-source replication | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MapReduce Offers an API for user-defined Map/Reduce methods | no | ES-Hadoop Connector | no | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Consistency concepts Methods to ensure consistency in a distributed system | Immediate Consistency | Eventual Consistency Synchronous doc based replication. Get by ID may show delays up to 1 sec. Configurable write consistency: one, quorum, all | Bounded Staleness Eventual Consistency Immediate Consistency Session Consistency Tunable Consistency | Eventual Consistency | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Foreign keys Referential integrity | no | no | no | yes | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Transaction concepts Support to ensure data integrity after non-atomic manipulations of data | no | no | no | ACID | no A 'Transaction' in Splunk has a different meaning: grouping related events into a single one for later searching | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Concurrency Support for concurrent manipulation of data | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Durability Support for making data persistent | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| In-memory capabilities Is there an option to define some or all structures to be held in-memory only. | no | Memcached and Redis integration | yes | yes | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| User concepts Access control | RBAC using LDAP or Druid internals for users and groups for read/write by datasource and system | Role based access control and fine grained access rights | no | Access rights for users and roles | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More information provided by the system vendor | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Apache Druid | Elasticsearch | Milvus | SpatiaLite | Splunk | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Specific characteristics | Milvus is an open-source and cloud-native vector database built for production-ready... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Competitive advantages | Highly available, versatile, and robust with millisecond latency. Supports batch... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typical application scenarios | RAG: retrieval augmented generation Video media : video understanding, video deduplication.... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Key customers | Milvus is trusted by thousands of enterprises, including PayPal, eBay, IKEA, LINE,... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Market metrics | As of January 2024, 25k+ GitHub stars 10M+ downloads and installations 3k+ enterprise... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Licensing and pricing models | Milvus was released under the open-source Apache License 2.0 in October 2019. Fully-managed... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
We invite representatives of system vendors to contact us for updating and extending the system information, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Related products and servicesWe invite representatives of vendors of related products to contact us for presenting information about their offerings here. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More resources | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Apache Druid | Elasticsearch | Milvus | SpatiaLite | Splunk | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DB-Engines blog posts | PostgreSQL is the DBMS of the Year 2017 Elasticsearch moved into the top 10 most popular database management systems MySQL, PostgreSQL and Redis are the winners of the March ranking | Vector databases | Spatial database management systems | Enterprise Search Engines almost double their popularity in the last 12 months Apache® Druid Wins Best Big Data Product in the 2023 BigDATAwire Readers’ Choice Awards 'Lucifer' Botnet Turns Up the Heat on Apache Hadoop Servers Imply Honored With 2023 Confluent Rising Star Partner of the Year Award How to connect DataGrip to Apache Druid Apache Druid Takes Its Place In The Pantheon Of Databases provided by Google News Amazon OpenSearch Service announces Standard and Extended Support dates for Elasticsearch and OpenSearch versions Elastic Simplifies Elasticsearch Management with AutoOps Integration Elastic Simplifies Elasticsearch Management with AutoOps Integration Elasticsearch will be open source again as CTO declares changed landscape Elastic returns to open source, but can it regain the community’s trust? Some industry players aren’t holding their breath provided by Google News AI-Powered Search Engine With Milvus Vector Database on Vultr 10 top vector database options for similarity searches Milvus in 2023: Open Source Vector Database Year in Review Build a RAG App With Nvidia NIM and Milvus Running Locally Using Evaluations to Optimize a RAG Pipeline: from Chunkings and Embeddings to LLMs provided by Google News | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Share this page
