DBMS > Hive vs. Solr vs. Spark SQL vs. Sqrrl vs. Tarantool
System Properties Comparison Hive vs. Solr vs. Spark SQL vs. Sqrrl vs. Tarantool
| Editorial information provided by DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Name | Hive Xexclude from comparison | Solr Xexclude from comparison | Spark SQL Xexclude from comparison | Sqrrl Xexclude from comparison | Tarantool Xexclude from comparison | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Sqrrl has been acquired by Amazon and became a part of Amazon Web Services. It has been removed from the DB-Engines ranking. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Description | data warehouse software for querying and managing large distributed datasets, built on Hadoop | A widely used distributed, scalable search engine based on Apache Lucene | Spark SQL is a component on top of 'Spark Core' for structured data processing | Adaptable, secure NoSQL built on Apache Accumulo | In-memory computing platform with a flexible data schema for efficiently building high-performance applications | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Primary database model | Relational DBMS | Search engine | Relational DBMS | Document store Graph DBMS Key-value store Wide column store | Document store Key-value store Relational DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary database models | Spatial DBMS | Spatial DBMS  with Tarantool/GIS extension | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
| ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Website | hive.apache.org | solr.apache.org | spark.apache.org/sql | sqrrl.com | www.tarantool.io | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Technical documentation | cwiki.apache.org/confluence/display/Hive/Home | solr.apache.org/resources.html | spark.apache.org/docs/latest/sql-programming-guide.html | www.tarantool.io/en/doc | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Developer | Apache Software Foundation initially developed by Facebook | Apache Software Foundation | Apache Software Foundation | Amazon originally Sqrrl Data, Inc. | VK | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Initial release | 2012 | 2006 | 2014 | 2012 | 2008 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Current release | 3.1.3, April 2022 | 9.6.0, April 2024 | 3.5.0 ( 2.13), September 2023 | 2.10.0, May 2022 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| License Commercial or Open Source | Open Source Apache Version 2 | Open Source Apache Version 2 | Open Source Apache 2.0 | commercial | Open Source BSD-2, source-available extensions (modules), commercial licenses for Tarantool Enterprise | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Cloud-based only Only available as a cloud service | no | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DBaaS offerings (sponsored links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Implementation language | Java | Java | Scala | Java | C and C++ | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server operating systems | All OS with a Java VM | All OS with a Java VM runs as a servlet in servlet container (e.g. Tomcat, Jetty is included) | Linux OS X Windows | Linux | BSD Linux macOS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Data scheme | yes | yes Dynamic Fields enables on-the-fly addition of new fields | yes | schema-free | Flexible data schema: relational definition for tables with ability to store json-like documents in columns | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typing predefined data types such as float or date | yes | yes supports customizable data types and automatic typing | yes | yes | string, double, decimal, uuid, integer, blob, boolean, datetime | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| XML support Some form of processing data in XML format, e.g. support for XML data structures, and/or support for XPath, XQuery or XSLT. | yes | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary indexes | yes | yes All search fields are automatically indexed | no | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL Support of SQL | SQL-like DML and DDL statements | Solr Parallel SQL Interface | SQL-like DML and DDL statements | no | Full-featured ANSI SQL support | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| APIs and other access methods | JDBC ODBC Thrift | Java API RESTful HTTP/JSON API | JDBC ODBC | Accumulo Shell Java API JDBC ODBC RESTful HTTP API Thrift | Open binary protocol | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Supported programming languages | C++ Java PHP Python | .Net Erlang Java JavaScript any language that supports sockets and either XML or JSON Perl PHP Python Ruby Scala | Java Python R Scala | Actionscript C using GLibC# C++ Cocoa Delphi Erlang Go Haskell Java JavaScript OCaml Perl PHP Python Ruby Smalltalk | C C# C++ Erlang Go Java JavaScript Lua Perl PHP Python Rust | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server-side scripts Stored procedures | yes user defined functions and integration of map-reduce | Java plugins | no | no | Lua, C and SQL stored procedures | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Triggers | no | yes User configurable commands triggered on index changes | no | no | yes, before/after data modification events, on replication events, client session events | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Partitioning methods Methods for storing different data on different nodes | Sharding | Sharding | yes, utilizing Spark Core | Sharding making use of Hadoop | Sharding, partitioned with virtual buckets by user defined affinity key. Live resharding for scale up and scale down without maintenance downtime. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Replication methods Methods for redundantly storing data on multiple nodes | selectable replication factor | yes | none | selectable replication factor making use of Hadoop | Asynchronous replication with multi-master option Configurable replication topology (full-mesh, chain, star) Synchronous quorum replication (with Raft) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MapReduce Offers an API for user-defined Map/Reduce methods | yes query execution via MapReduce | spark-solr: github.com/lucidworks/spark-solr and streaming expressions to reduce | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Consistency concepts Methods to ensure consistency in a distributed system | Eventual Consistency | Eventual Consistency | Immediate Consistency Document store kept consistent with combination of global timestamping, row-level transactions, and server-side consistency resolution. | Casual consistency across sharding partitions Eventual consistency within replicaset partition when using asyncronous replicationImmediate Consistency within single instance Sequential consistency including linearizable read within replicaset partition when using Raft | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Foreign keys Referential integrity | no | no | no | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Transaction concepts Support to ensure data integrity after non-atomic manipulations of data | no | optimistic locking | no | Atomic updates per row, document, or graph entity | ACID, with serializable isolation and linearizable read (within partition); Configurable MVCC (within partition); No cross-shard distributed transactions | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Concurrency Support for concurrent manipulation of data | yes | yes | yes | yes | yes, cooperative multitasking | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Durability Support for making data persistent | yes | yes | yes | yes | yes, write ahead logging | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| In-memory capabilities Is there an option to define some or all structures to be held in-memory only. | yes | no | yes, full featured in-memory storage engine with persistence | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| User concepts Access control | Access rights for users, groups and roles | yes | no | Cell-level Security, Data-Centric Security, Role-Based Access Control (RBAC), Attribute-Based Access Control (ABAC) | Access Control Lists Mutual TLS authentication for Tarantol Enterprise Password based authentication Role-based access control (RBAC) and LDAP for Tarantol Enterprise Users and Roles | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
More information provided by the system vendorWe invite representatives of system vendors to contact us for updating and extending the system information, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Related products and servicesWe invite representatives of vendors of related products to contact us for presenting information about their offerings here. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More resources | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Hive | Solr | Spark SQL | Sqrrl | Tarantool | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DB-Engines blog posts | Why is Hadoop not listed in the DB-Engines Ranking? | Elasticsearch replaced Solr as the most popular search engine Enterprise Search Engines almost double their popularity in the last 12 months The DB-Engines ranking includes now search engines | Data processing speed and reliability: in-memory synchronous replication Apache Software Foundation Announces Apache® Hive 4.0 ASF Unveils the Next Evolution of Big Data Processing With the Launch of Hive 4.0 Run Apache Hive workloads using Spark SQL with Amazon EMR on EKS | Amazon Web Services Apache Hive 4.0 Launches, Revolutionizing Data Management and Analysis 18 Top Big Data Tools and Technologies to Know About in 2024 provided by Google News SOLR hosts May Day amid ongoing contract negotiations (SOLR) Technical Pivots with Risk Controls SOLR-led walkout demands better conditions for Compass workers Best Practices from Rackspace for Modernizing a Legacy HBase/Solr Architecture Using AWS Services | Amazon Web ... Top 5 stock gainers and losers: SOLR.V, GRSL.V, ANON.C provided by Google News Feature Engineering for Time-Series Using PySpark on Databricks Use Amazon Athena with Spark SQL for your open-source transactional table formats | Amazon Web Services What is Apache Spark? The big data platform that crushed Hadoop Cracking the Apache Spark Interview: 80+ Top Questions and Answers for 2024 18 Top Big Data Tools and Technologies to Know About in 2024 provided by Google News Splunk details Sqrrl 'screw-ups' that hampered threat hunting Amazon acquires cybersecurity startup Sqrrl Mark Terenzoni Millennials possess the advantage of time for wealth creation, says Yashoraj Tyagi of Sqrrl | Mint Amazon's cloud business acquires Sqrrl, a security start-up with NSA roots provided by Google News Tarantool Announces New Enterprise Version With Enhanced Scaling and Monitoring Capabilities Deploying Tarantool Cartridge applications with zero effort (Part 1) Deploying Tarantool Cartridge applications with zero effort (Part 2) Тarantool Cartridge: Sharding Lua Backend in Three Lines VShard — horizontal scaling in Tarantool provided by Google News | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Share this page
