DBMS > BaseX vs. HEAVY.AI vs. Spark SQL vs. Sphinx vs. YDB
System Properties Comparison BaseX vs. HEAVY.AI vs. Spark SQL vs. Sphinx vs. YDB
| Editorial information provided by DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Name | BaseX Xexclude from comparison | HEAVY.AI  Formerly named 'OmniSci', rebranded to 'HEAVY.AI' in March 2022 Xexclude from comparison | Spark SQL Xexclude from comparison | Sphinx Xexclude from comparison | YDB Xexclude from comparison | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Description | Light-weight Native XML DBMS with support for XQuery 3.0 and interactive GUI. | A high performance, column-oriented RDBMS, specifically developed to harness the massive parallelism of modern CPU and GPU hardware | Spark SQL is a component on top of 'Spark Core' for structured data processing | Open source search engine for searching in data from different sources, e.g. relational databases | A distributed fault-tolerant database service, with high availability, scalability, immediate consistency and ACID transactions and providing an Amazon DynamoDB compatible API | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Primary database model | Native XML DBMS | Relational DBMS | Relational DBMS | Search engine | Document store Relational DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary database models | Spatial DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Website | basex.org | github.com/heavyai/heavydb www.heavy.ai | spark.apache.org/sql | sphinxsearch.com | github.com/ydb-platform/ydb ydb.tech | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Technical documentation | docs.basex.org | docs.heavy.ai | spark.apache.org/docs/latest/sql-programming-guide.html | sphinxsearch.com/docs | ydb.tech/en/docs | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Developer | BaseX GmbH | HEAVY.AI, Inc. | Apache Software Foundation | Sphinx Technologies Inc. | Yandex | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Initial release | 2007 | 2016 | 2014 | 2001 | 2019 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Current release | 11.0, June 2024 | 5.10, January 2022 | 3.5.0 ( 2.13), September 2023 | 3.5.1, February 2023 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| License Commercial or Open Source | Open Source BSD license | Open Source Apache Version 2; enterprise edition available | Open Source Apache 2.0 | Open Source GPL version 2, commercial licence available | Open Source Apache 2.0; commercial license available | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Cloud-based only Only available as a cloud service | no | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DBaaS offerings (sponsored links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Implementation language | Java | C++ and CUDA | Scala | C++ | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server operating systems | Linux OS X Windows | Linux | Linux OS X Windows | FreeBSD Linux NetBSD OS X Solaris Windows | Linux | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Data scheme | schema-free | yes | yes | yes | Flexible Schema (defined schema, partial schema, schema free) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typing predefined data types such as float or date | no XQuery supports types | yes | yes | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| XML support Some form of processing data in XML format, e.g. support for XML data structures, and/or support for XPath, XQuery or XSLT. | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary indexes | yes | no | no | yes full-text index on all search fields | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL Support of SQL | no | yes | SQL-like DML and DDL statements | SQL-like query language (SphinxQL) | SQL-like query language (YQL) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| APIs and other access methods | Java API RESTful HTTP API RESTXQ WebDAV XML:DB XQJ | JDBC ODBC Thrift Vega | JDBC ODBC | Proprietary protocol | RESTful HTTP API (DynamoDB compatible) | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Supported programming languages | Actionscript C C# Haskell Java JavaScript Node.jsLisp Perl PHP Python Qt Rebol Ruby Scala Visual Basic | All languages supporting JDBC/ODBC/Thrift Python | Java Python R Scala | C++ unofficial client library Java Perl unofficial client libraryPHP Python Ruby unofficial client library | Go Java JavaScript (Node.js) PHP Python | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server-side scripts Stored procedures | yes | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Triggers | yes via events | no | no | no | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Partitioning methods Methods for storing different data on different nodes | none | Sharding Round robin | yes, utilizing Spark Core | Sharding Partitioning is done manually, search queries against distributed index is supported | Sharding | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Replication methods Methods for redundantly storing data on multiple nodes | none | Multi-source replication | none | none | Active-passive shard replication | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MapReduce Offers an API for user-defined Map/Reduce methods | no | no | no | no | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Consistency concepts Methods to ensure consistency in a distributed system | Immediate Consistency | Immediate Consistency | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Foreign keys Referential integrity | no | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Transaction concepts Support to ensure data integrity after non-atomic manipulations of data | multiple readers, single writer | no | no | no | ACID | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Concurrency Support for concurrent manipulation of data | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Durability Support for making data persistent | yes | yes | yes | yes The original contents of fields are not stored in the Sphinx index. | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| In-memory capabilities Is there an option to define some or all structures to be held in-memory only. | yes | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| User concepts Access control | Users with fine-grained authorization concept on 4 levels | fine grained access rights according to SQL-standard | no | no | Access rights defined for Yandex Cloud users | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
More information provided by the system vendorWe invite representatives of system vendors to contact us for updating and extending the system information, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Related products and servicesWe invite representatives of vendors of related products to contact us for presenting information about their offerings here. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More resources | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| BaseX | HEAVY.AI Formerly named 'OmniSci', rebranded to 'HEAVY.AI' in March 2022 | Spark SQL | Sphinx | YDB | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DB-Engines blog posts | The DB-Engines ranking includes now search engines | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Recent citations in the news | XML Injection Attacks: What to Know About XPath, XQuery, XXE & More 9 Skills You Need to Become a Data Engineer Xml Databases Software Market Thriving at a Tremendous Growth – TIMC provided by Google News | HEAVY.AI Launches HEAVY 7.0, Introducing Real-Time Machine Learning Capabilities Big Data Analytics: A Game Changer for Infrastructure HEAVY.AI Partners with Bain, Maxar, and Nvidia to Provide Digital Twins for Telecom Networks Making the most of geospatial intelligence The insideBIGDATA IMPACT 50 List for Q4 2023 provided by Google News | Use Amazon Athena with Spark SQL for your open-source transactional table formats | Amazon Web Services What is Apache Spark? The big data platform that crushed Hadoop Cracking the Apache Spark Interview: 80+ Top Questions and Answers for 2024 Performant IPv4 Range Spark Joins | by Jean-Claude Cote Simba Technologies(R) Introduces New, Powerful JDBC Driver With SQL Connector for Apache Spark(TM) provided by Google News | Switching From Sphinx to MkDocs Documentation — What Did I Gain and Lose 5 Powerful Alternatives to Elasticsearch Manticore is a Faster Alternative to Elasticsearch in C++ Royal Mail stamp prices could rise, warns Czech Sphinx Perplexity AI: From Its Use To Operation, Everything You Need To Know About Google's Newest Challenger provided by Google News | Personal Data Protection Service Initiates Probe into Yandex.Go App’s Data Processing Data leak from Russian delivery app shows dining habits of the secret police Russian Court Sues Yandex CEO For LGBT Propaganda Case Yandex code leak: Why hack of ‘Russian Google’s’ ranking factors has spooked the SEO industry Russian secret police data leaked by food delivery app including where they live and what they eat... provided by Google News | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Share this page
