Модели
Исключение сервиса etl-drill
Построение быстрых превью переведено на Spark, переделан механизм получения метаданных для SQL-запросов к файлам.
Добавлен новый встроенный ETL-блок для работы с массивами данных
Список доступных для использования ETL-блоков пополнился:
- “JSON-блок” - блок позволяет преобразовать значения из JSON-поля в новые строки или столбцы. Работает со значениями полей как в виде объектов, так и массивов.
Добавлен тестовый запуск ETL-блока из окна ввода параметров
В окно ввода параметров ETL-блока добавлена кнопка “Выполнить”, по нажатию которой выполняется тестовый запуск блока внутри текущей модели.
Результаты выполнения (выходная из блока таблица) отобразиться в блоке “Результаты запуска”.
Добавлен выбор поля, вложенного в ETL-блок объекта, в параметрах и в IntelliSense
На форме редактирования ETL-блоков часто встречаются параметры, в которых нужно указывать поля из вложенного в блок объекта. Для этого добавлены:
-
возможность выбирать поля из выпадающего списка.
Например, в блоках “Разворот иерархии Parent-Child”, “Прогнозирование временного ряда”, “Классификация/регрессия с ML-моделью”, “JSON-блок”.
-
вспомогательное средство при написании SQL - скрипта в виде появляющихся справочников (IntelliSense) по названию полей вложенного в ETL-блок объекта.
Например, в блоках “SQL-блок”, “Вычисляемые поля”.
Реализован запуск блока по прогнозированию временных рядов на обычной инфраструктуре Системы
Добавлена возможность запуска блока с прогнозированием временных рядов без использования ML-инфраструктуры. Внесены изменения в параметры блока. Добавлена возможность управления дискретностью генерации будущих точек - автоматическая генерация (это значение по умолчанию) не всегда работает, в процессе синхронизации может выйти ошибка с предложением указать требуемое значение явно.
Игнорирование настроек по инкрементальной загрузке из файлового источника
Для объектов с источником типа “Файл” настройки инкрементальности игнорируются. Независимо от того, что настроено в интерфейсе Системы, в Airflow для таких объектов будет выполняться полная выгрузка данных.
Виджеты
Внесены дополнения в функционал форматирования данных виджетов
Для графических виджетов при добавлении форматирования по умолчанию определен оператор форматирования “Диаграмма”.
Для круговых диаграмм добавлена возможность форматирования по агрегатам операторами “Диаграмма”, “Цвет ячейки”, “Значки”, “Гистограмма (градиент по столбцу)”.
Оптимизирована загрузка заголовков для сводных таблиц
Кеш заголовков сократил время формирования пивотной таблицы.
Добавлены настройки для итогов в табличные виджеты
Для типов виджетов “Таблица” и “Сводная таблица” добавлена настройка “Итоги”, позволяющая задать параметры отображения строки/столбцов итоговых агрегатов.
Унифицировано применение шрифтов в виджетах
В список шрифтов добавлено значение “По умолчанию”, при установке этого значения будет применен шрифт, указанный в настройках “Вид”.
Добавлена возможность экспорта данных виджетов, построенных на live-моделях
Внедрена поддержка экспорта в файл формата .csv данных виджетов из live-моделей, построенных на различных подключениях к БД ClickHouse.
Информационные панели
Проведена оптимизация загрузки виджетов ИП по вкладкам
При открытии информационной панели данные для виджетов подгружаются только для активной вкладки и кешируются до изменении фильтров в самих виджетах. Выполненные работы позволили уменьшить количество элементов на странице браузера - получают данные только виджеты на активной вкладке.
Администрирование
Реализован новый провайдер LDAP kerberos
Провайдер с типом “LDAP kerberos” реализовывался под проект и будет работать в частных случаях с соответствующей инфраструктурой, работает по тому же принципу что и тип провайдера “OpenID Cookie”.
Общие изменения
Добавлен функционал группировки объектов по каталогам
Каталог - объект в файловой системе, предоставляющий способ группировки объектов реестра с целью облегчения поиска этих объектов по какому-то признаку и предоставления массового доступа к сгруппированным объектам.
В основные разделы Системы добавлен функционал по работе с двумя видами каталогов:
- Каталог с личным доступом (доступен только автору);
- Каталог с общим доступом (доступен всем пользователям и группам пользователям, которым предоставлен доступ).
Любой объект может быть перемещен в личный каталог.
В каталог с общим доступом можно переместить объект, если каталог доступен с правом на “Редактирование”/“Администрирование” (в т.ч. с авторским правом) и на перемещаемый объект у пользователя имеется индивидуальное/групповое право на его администрирование (в т.ч. авторское право).
Каталог с общим доступом позволяет предоставить массовый доступ к содержимому с помощью настройки прав доступа. Объект, помещенный в такой каталог, наследует права доступа от ключей доступа к содержимому каталога, если для пользователя не были назначены индивидуальные или групповые права на объект.
Обновлена настройка доступа к объектам
Настройки по управлению доступом отдельных пользователей (индивидуальные права) и групп пользователей (групповые права) объединены в единую форму “Общий доступ”.
