ИСТИНА

Совет по оценке производительности обработки транзакций (TPC.org) прикладывает немало усилий, чтобы создаваемые под его эгидой эталонные тесты для СУБД шли в ногу со временем, были объективными и нефальсифицируемыми, обеспечивали практическую сравнительную ценность результатов. Поддержка актуального профиля нагрузки информационных систем в TPC-E, универсальный аналитический бенчмарк TPC-DS, применимый как к реляционным СУБД, так и к системам на основе Spark, серия экспресс-тестов для систем из категории «больших данных» — всё это шаги навстречу современности. Но несмотря на все эти труды, востребованность тестов от TPC.org неуклонно снижается с середины 2000-х, результаты бенчмарков публикуются всё реже и реже, зато обретают популярность эталонные тесты новой волны, куда более поверхностные и страдающие болезнями, преодолёнными Советом ещё в начале 1990-х, неизбежно порождая новую волну «бенчмаркингового маркетинга». Не менее интересным в связи с этими обстоятельствами видится фокус производителей машин баз данных не на результатах синтетических тестов, а на атомарных показателях производительности, таких как число операций ввода-вывода на SQL-нагрузке и пропускная способность на SQL-нагрузке. Данный доклад — широкий обзор существовавших и существующих эталонных тестов производительности, нацеленный на то, чтобы подобрать объяснение складывающейся ситуации, и наметить наиболее перспективные направления развития эталонного тестирования для СУБД.