DBMS > Apache Kylin vs. SAP IQ vs. Spark SQL vs. TDengine vs. TiDB
System Properties Comparison Apache Kylin vs. SAP IQ vs. Spark SQL vs. TDengine vs. TiDB
| Editorial information provided by DB-Engines | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Name | Apache Kylin Xexclude from comparison | SAP IQ  former name: Sybase IQ Xexclude from comparison | Spark SQL Xexclude from comparison | TDengine Xexclude from comparison | TiDB Xexclude from comparison | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Description | A distributed analytics engine for big data, providing a SQL interface and multi-dimensional analysis (OLAP) and leveraging the Hadoop stack | Columnar RDBMS optimized for Big Data analytics | Spark SQL is a component on top of 'Spark Core' for structured data processing | Time Series DBMS and big data platform | TiDB is an open source distributed SQL database that supports Hybrid Transactional/Analytical Processing (HTAP) workloads. It is MySQL compatible and features horizontal scalability, strong consistency, and high availability. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Primary database model | Relational DBMS | Relational DBMS column-oriented | Relational DBMS | Time Series DBMS | Relational DBMS | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary database models | Relational DBMS | Document store | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Website | kylin.apache.org | www.sap.com/products/technology-platform/sybase-iq-big-data-management.html | spark.apache.org/sql | github.com/taosdata/TDengine tdengine.com | pingcap.com | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Technical documentation | kylin.apache.org/docs | help.sap.com/docs/SAP_IQ | spark.apache.org/docs/latest/sql-programming-guide.html | docs.tdengine.com | docs.pingcap.com/tidb/stable | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Developer | Apache Software Foundation, originally contributed from eBay Inc | SAP, formerly Sybase | Apache Software Foundation | TDEngine, previously Taos Data | PingCAP, Inc. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Initial release | 2015 | 1994 | 2014 | 2019 | 2016 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Current release | 3.1.0, July 2020 | 16.1 SPS04, April 2019 | 3.5.0 ( 2.13), September 2023 | 3.0, August 2022 | 8.1.0, May 2024 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| License Commercial or Open Source | Open Source Apache Version 2.0 | commercial | Open Source Apache 2.0 | Open Source AGPL V3, also commercial editions available | Open Source Apache 2.0 | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Cloud-based only Only available as a cloud service | no | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| DBaaS offerings (sponsored links) Database as a Service Providers of DBaaS offerings, please contact us to be listed. | TiDB Cloud: Fully-managed TiDB Service. Bring everything great about TiDB to the cloud. | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Implementation language | Java | Scala | C | Go, Rust | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server operating systems | Linux | AIX HP-UX Linux Solaris Windows | Linux OS X Windows | Linux Windows | Linux | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Data scheme | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typing predefined data types such as float or date | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| XML support Some form of processing data in XML format, e.g. support for XML data structures, and/or support for XPath, XQuery or XSLT. | no | no | no | no | no | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Secondary indexes | yes | yes | no | no | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| SQL Support of SQL | ANSI SQL for queries (using Apache Calcite) | yes | SQL-like DML and DDL statements | Standard SQL with extensions for time-series applications | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| APIs and other access methods | JDBC ODBC RESTful HTTP API | ADO.NET JDBC ODBC RESTful HTTP API | JDBC ODBC | JDBC RESTful HTTP API | GORM JDBC ODBC Proprietary protocol SQLAlchemy | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Supported programming languages | C C# C++ Java Perl PHP Python Ruby | Java Python R Scala | C C# C++ Go Java JavaScript (Node.js) PHP Python Rust | Ada C C# C++ D Delphi Eiffel Erlang Haskell Java JavaScript (Node.js) Objective-C OCaml Perl PHP Python Ruby Scheme Tcl | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Server-side scripts Stored procedures | yes | no | no | no | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Triggers | yes | no | yes, via alarm monitoring | no | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Partitioning methods Methods for storing different data on different nodes | shared disk or shared nothing architectures with SAP IQ Multiplexer | yes, utilizing Spark Core | Sharding | horizontal partitioning (by key range) | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Replication methods Methods for redundantly storing data on multiple nodes | SAP/Sybase Replication Server | none | yes | Using Raft consensus algorithm to ensure data replication with strong consistency among multiple replicas. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| MapReduce Offers an API for user-defined Map/Reduce methods | yes | Hadoop integration | yes with TiSpark Connector | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Consistency concepts Methods to ensure consistency in a distributed system | Immediate Consistency | Immediate Consistency | Immediate Consistency | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Foreign keys Referential integrity | yes | no | no | yes full support since version 6.6 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Transaction concepts Support to ensure data integrity after non-atomic manipulations of data | ACID | no | ACID | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Concurrency Support for concurrent manipulation of data | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Durability Support for making data persistent | yes | yes | yes | yes | yes | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| In-memory capabilities Is there an option to define some or all structures to be held in-memory only. | no | no | no | no | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| User concepts Access control | fine grained access rights according to SQL-standard | no | yes | Fine grained access rights according to SQL-standard | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More information provided by the system vendor | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Apache Kylin | SAP IQ former name: Sybase IQ | Spark SQL | TDengine | TiDB | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Specific characteristics | TDengine™ is a next generation data historian purpose-built for Industry 4.0 and... » more | TiDB is an advanced open-source, distributed SQL database for modern application... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Competitive advantages | High Performance at any Scale: TDengine is purpose-built for handling massive industrial... » more | - HORIZONTAL SCALING : TiDB grants total transparency into your data workloads without... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Typical application scenarios | TDengine is designed for Industrial IoT scenarios, including: Manufacturing Connected... » more | TiDB is ideal for transactional applications that require extreme scalability and... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Key customers | Block, Pinterest, Catalyst, Bolt, Flipkart, Capcom, Shopee (E-commerce), JD Cloud... » more | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Market metrics | TDengine has garnered over 22,500 stars on GitHub and is used in over 50 countries... » more | 34K+ GitHub stars 5K+ members in TiDB Community Slack 1K+ community contributors... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Licensing and pricing models | TDengine OSS is an open source, cloud native time series database. It includes built-in... » more | TiDB Community : Free open source software (Apache 2.0) TiDB Self-Hosted : Enterprise... » more | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| News | Streamlining Time-Series Data Management with TDengine’s PostgreSQL Connector Enhancing IoT and Industrial Data Management with TDengine’s MySQL Connector Comprehensive Comparison Between TDengine and MongoDB Comprehensive Comparison Between TDengine and TimescaleDB Mastering Memory Leak Detection in TDengine | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
We invite representatives of system vendors to contact us for updating and extending the system information, | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Related products and servicesWe invite representatives of vendors of related products to contact us for presenting information about their offerings here. | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| More resources | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Apache Kylin | SAP IQ former name: Sybase IQ | Spark SQL | TDengine | TiDB | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
| Recent citations in the news | Migrating from ClickHouse to Apache Doris: Boosting OLAP Performance Introducing Kyligence Copilot: The AI Copilot for Data to Excel Your KPIs Overhauling Apache Kylin for the cloud eBay's Kylin Becomes a Top-Level Apache Open Source Project How Kyligence Cloud uses Amazon EMR Serverless to simplify OLAP | Amazon Web Services provided by Google News | New Services for SAP HANA Cloud Database SAP Products & Services Data Portfolio SAP Scales Out HANA In-Memory For Clouds Using SAP Hana as a data warehouse 2021 SAP Data and Analytics Virtual Forum provided by Google News | Use Amazon Athena with Spark SQL for your open-source transactional table formats | Amazon Web Services What is Apache Spark? The big data platform that crushed Hadoop Cracking the Apache Spark Interview: 80+ Top Questions and Answers for 2024 Performance Insights from Sigma Rule Detections in Spark Streaming Simba Technologies(R) Introduces New, Powerful JDBC Driver With SQL Connector for Apache Spark(TM) provided by Google News | TDengine named Top Global Industrial Data Management Solution TDengine debuts cloud-based time-series data processing platform for IoT deployments New TDengine Benchmark Results Show Up to 37.0x Higher Query Performance Than InfluxDB and TimescaleDB TDengine Brings Open Source Time-Series Database to Kubernetes Comparing Different Time-Series Databases provided by Google News | How PingCAP transformed TiDB into a serverless DBaaS using Amazon S3 and Amazon EBS | Amazon Web Services Navigating Modern Data Challenges: Ed Huang, CTO of PingCAP on the Future of Distributed SQL Databases PingCAP Launches TiDB 7.5, Enhancing Distributed SQL Database Tech Google Cloud's C3D Instances Provide Strong Performance Value For PingCAP's TiDB TiDB by PingCAP Leads Data Management Revolution at GIDS 2024, Empowering India's Burgeoning Developer ... provided by Google News | |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
Share this page
