Мы изучили презентации, заявления и выступления ведущих специалистов компании Oracle, участвовавших в разработке и тестировании продукта, и решили поделиться с вами полученными результатами. В версии MySQL 5.7 проделана значительная работа по улучшению производительности и масштабируемости системы для высоконагруженных проектов. Управление системой стало проще и безопаснее. Добавлены новые возможности, благодаря которым вы сможете работать с базами данных на совершенно ином уровне!
Основные улучшения:
- В 2 раза быстрее MySQL 5.6
- Улучшенный InnoDB
- Улучшена репликация
- Новая модель стоимостного оптимизатора. Улучшена производительность запросов.
- Улучшение схемы производительности
- MySQL SYS Schema
- Повышенный уровень безопасности
- Поддержка JSON
Показатели производительности MySQL 5.7 vs MySQL 5.6
Выжимка из презентации продуктового менеджера Oracle Мэтта Лорда, посвященной выходу версии MySQL 5.7 и презентации разработчика MySQL Алексей Копытова на DevConf. На рисунке ниже команда Oracle провела тест производительности систем 5.5, 5.6 и 5.7 с помощью утилиты sysbench на read-only нагрузках. В результате теста MySQL версии 5.7 показал в несколько раз большую производительность, чем его предшественники.
Также была выполнена оптимизация скорости соединения. В версии 5.7 скорость создания соединения в сравнении с версией 5.6 стала значительно быстрее, в особенности, при большом количестве клиентов.
Одним из основных направлений по улучшению в версии 5.7 была оптимизация в работе движка InnoDB. На графике ниже вы можете наблюдать результат сделанных улучшений на примере связки InnoDB и Memcached плагина.
В несколько раз выросло и количество соединений в секунду, которое способен обрабатывать MySQL.
Новые возможности в MySQL 5.7
Ниже приведена выжимка основных улучшений от представителей Oracle, из официального письма Geir Høydalsvik - старшего директора по разработке MySQL и выступления разработчика MySQL Дмитрия Ленева на DevConf 2016
Добавление поддержки JSON в MySQL
Благодаря недавно добавленной поддержке JSON в MySQL теперь вы можете сочетать гибкость NoSQL с мощью реляционной базы данных.
Оптимизированный бинарный формат позволяет серверу эффективно хранить, извлекать и искать данные JSON. Это расширяет возможности CREATE TABLE и ALTER TABLE, чтобы они могли создавать столбцы JSON, и расширяет функцию Field, разрешая INSERT и SELECT из полей с типом JSON.
Преимущества столбцов JSON
- Улучшенный бинарный формат хранения (быстрый доступ по ключам и к элементам массивов)
- Оптимизирован для чтения
- Кодировка Utf8mb4
- Валидация JSON при вставке
- Поддержка JSON элементов, таких как числа, строки, объекты, массивы.
Набор встроенных функций для взаимодействий с JSON
Позволяет пользователям создавать значения данных JSON из других реляционных данных, извлекать реляционные данные из значений данных JSON, анализировать структуру значений и текста JSON (валидность, длина, глубина, ключи), выполнять поиск внутри данных JSON и управлять ими.
- JSON_EXTRACT()/оператор ->, JSON_SEARCH(), JSON_CONTAINS(),....
- JSON_SET(), JSON_INSERT(), JSON_REMOVE(),....
- JSON_VALID(), JSON_LENGHT(), JSON_DEPTH(),...
- JSON_ARRAY(), JSON_OBJECT()
- JSON_QUOTE(), JSON_UNQUOTE()
Доступен компаратор для сравнения в SQL запросах, аналогичный компаратору DATE / TIME / DATETIME, который позволяет сравнивать скаляры JSON с константами SQL и скаляры JSON с скалярами JSON. Компаратор полагается на поддержку DOM. Компаратор преобразует константу SQL в скаляр JSON, а затем сравнивает значения.
Упорядочивание скалярных значений JSON
Функция создает ключи сортировки, которые необходимы внутренней функции файловой сортировки для правильной сортировки значений JSON. При упорядочивании скалярных значений JSON с помощью ORDER BY они будут возвращены в порядке, определенном компаратором JSON.
Анализатор выражений для сгенерированных столбцов.
Позволяет оптимизаторам находить возможности для использования любых индексов, определенных для сгенерированных столбцов. Один из предполагаемых вариантов использования этой функции - создание и автоматическое использование индексов для документов JSON.
Генерируемые столбцы
В операторах CREATE TABLE и ALTER TABLE доступна поддержка спецификации генерируемых столбцов. Из выражения, указанного при создании столбца вычисляются значения сгенерированного столбца.
Cтолбцы могут быть VIRTUAL (вычисление при чтении строк) или STORED (вычисление при вставке или обновлении строк), при этом индексы вы можете создать для обоих типов. Анализируя выражения, оптимизатор, кстати, старается использовать наилучший «функциональный» индекс.
Генерируемые столбцы: STORED vs VIRTUAL
STORED
→ Может быть PRIMARY KEY
→ BTREE, FULLTEXT, GIS
→ Добавление колонки требует перестроения таблицы и блокирует обновления
→ Добавление индекса in-place/не блокирует обновления
VIRTUAL
→ Не может быть PRIMARY KEY
→ Только BTREE
→ Добавление колонки мгновенно
→ Добавление индекса in-place/не блокирует обновления
Улучшения при выполнении запросов и в оптимизаторе.
Функция оценки затрат расширяет модель стоимостного оптимизатора, позволяет использовать оценки механизмов хранения: сколько строк и индексов таблицы присутствует в памяти. Оптимизатор использует различные константы затрат для расчета стоимости доступа к данным, которые находятся в памяти, и данным, которые необходимо прочитать с диска. В первоначальной реализации эти две константы стоимости имеют одинаковое значение по умолчанию, но могут быть изменены администратором сервера, чтобы оптимизатор использовал разные затраты на данные в буфере памяти и данные, необходимые для чтения с диска. Обратите внимание, что в настоящее время оценки того, находятся ли данные в памяти или их необходимо прочитать с диска, основываются только на эвристике. Точность этих оценок будет значительно улучшена, если поддержка этих оценок будет реализована отдельными механизмами хранения.
Другие оптимизации:
- Более умный учет условий при выборе порядка таблиц в join;
- Подзапросы из FROM обрабатываются как view;
- UNION ALL не требует временных таблиц;
- Полностью cost-based выбор индекса для ORDER BY ... LIMIT N;
- Более оптимальное использование sort-buffer для несортируемых полей.
X plugin
Добавляет возможность оптимизации базы данных за счёт обновлённого протокола связи с веб-сервером, который способен производить асинхронные запросы. Также доступна новая утилита для более эффективной работы с веб-сервером и новый NoSQL API, который делает акцент на JSON, CRUD, а также document store.
EXPLAIN FOR CONNECTION
• Улучшения в EXPLAIN JSON (общая стоимость, по таблицам, кол-во обработанных данных)
• Улучшен режим ONLY_FULL_GROUP_BY и включен по умолчанию
• IN поддерживает кортежи [выражения вида («a», «b»)]
Новый механизм подсказок оптимизатору /*+ … */:
– MAX_EXECUTION_TIME, BKA, MRR, ICP,
NO_RANGE_OPTIMIZATION,SEMIJOIN, SUBQUERY
Query Rewrite Plugin
Работает после обработки парсером перед оптимизацией и выполнением и позволяет изменить проблемный запрос без изменения приложения:
– Добавить подсказок оптимизатору
– Поменять порядок в join
– Решает проблему «плохих» запросов от ORM, сторонних приложений
– Больше не нужно использовать proxy в этих случаях
Улучшения в InnoDB
Производительность/масштабируемость
- Поддержка native partitioning
- Быстрее, меньше ресурсов
- Поддержка trasportable tablespaces
- General tablespaces
Улучшения Fulltext
Поддержка parser plugin
CJK и MeCab парсеры
Поддержка GIS индексов
Быстрый ALTER TABLE для VARCHAR
Оптимизация создания индексов (create index bulk load)
Изменение размера buffer pool без рестарта
Сохранение горячих страниц из buffer pool для прогрева (--innodb-buffer- pool-dump-pct=)
Поддержка 32k и 64k страниц
Управление MERGE_THRESHOLD
Оптимизация работы с временными табличками (пользовательскими и intrisic)
Transparent Page Compression (punch-hole)
Репликация
GTID
– Включение GTID без downtime и перезапусков
– Slave без binlog
Поддержка репликации из многих источников
Изменение настроек фильтрации без перезапуска
Улучшения в полу-синхронной репликации
– Ожидание подтверждения от нескольких slave
– Фиксация транзакции только после подтверждения (корректный failover, решение проблемы с видимостью изменений)
– Отдельные потоки для отсылки и получения подтверждений
Безопасность
Безопасность по умолчанию
– Автогенерация пароля root@localhost при инсталляции
– Нет анонимов
– Простое и безопасное создание БД через mysqld —initialize
SSL
– Включен по умолчанию
– --ssl на клиенте его требует
– Автоматическое обнаружение и генерация ключей
– --require-secure-trasport на сервере
Поддержка политик смены паролей
Временная блокировка и разблокировка пользователей
Режимы AES шифрования
Расширена поддержка PROXY пользователей
– Теперь и при аутентификации через встроенные механизмы сервера
– Можно использовать для эмуляции ролей
Максимальная длина имени пользователя теперь 32
CREATE/DROP USER IF EXIST
PERFORMANCE_SCHEMA и SYS
Добавлена инструментация для:
– Блокировок метаданных (MDL)
– Транзакций
– Хранимых процедур и prepared statements
– Использования памяти
Аггрегированная статистика по:
– типам памяти/пользователям/хостам/соединениям
Включает данные:
– объем, количество выделений, high/low watermarks
Добавлены P_S таблицы для:
– Состояния slave (аналог SHOW SLAVE STATUS)
– Пользовательских переменные
– Статусных и системных переменных
Оптимизировано использование памяти
Многочисленные настройки (фильтрация по пользователям, включение/выключение истории для соединений)
SYS schema (ps_helper) теперь доступен по умолчанию
GIS
– Выкинули старый код и перешли на Boost.Geometry !
– Для вычислений и операций
– Меньше ошибок, больше функциональности
Импорт/экспорт из/в
– GeoHash
– GeoJSON
Новые вспомогательные функции ST_Distance_Sphere(), ST_MakeEnvelope(),...
Реализовали поддержку R-tree в InnoDB
– Транзакции/ACID/MVCC при работе с GIS
MySQL Document Store
Использует новый JSON тип и индексы на генерируемые столбцы
Оперирует коллекциями JSON объектов
Новый MySQL Shell
— JavaScript, Python, SQL
Коннекторы с новым CRUD API:
– Java, NodeJS, Net, Python
– Поддерживают работу с коллекциями и таблицами
– Цепочки методов (method chaining)
– Асинхронное выполнение
– Поддерживает parameter binding
С полным списком улучшений вы можете ознакомиться по ссылкам на официальный сайт:
- Что нового в MySQL 5.7 - https://dev.mysql.com/doc/refman/5.7/en/mysql-nutshell.html
- Изменения в версии MySQL 5.7.8 - https://dev.mysql.com/doc/relnotes/mysql/5.7/en/news-5-7-8.html
Кстати говоря, нашим клиентам уже доступен хостинг с MySQL 5.7! Вы можете абсолютно бесплатно протестировать работу вашего сайта на новой базе MySQL 5.7 в течение 14 дней с момента регистрации.
