Улучшения и новая разработка
Источники
Добавлена поддержка чтения данных из QVD файлов
QVD (QlikView Data) - это формат файла, содержащий в себе таблицу данных, экспортированных из платформ Qlik Sense или QlikView.
Модели
Мета полей моделей приведена к нижнему регистру
Для выполнения параметризованных запросов в виджетах добавлены миграции по унификации регистра в мете полей модели.
В некоторых случаях, для восстановления работы виджетов и панелей, потребуется повторная синхронизация моделей.
В функционал кастомизации синхронизации модели добавлена возможность удаления данных
Реализована функция pusher.delete_rows для удаления записей текущего инкремента из Clickhouse.
Реализована очистка внутренних файлов ETL при полном удаление модели
Добавлена возможность полного удаления всех “внутренних” файлов (статистика, информация о битых объектах, etl-скрипты, кеши и др.) модели. Данные функциональные возможности будут применяться при очистке удаленных объектов из “Корзины”.
Добавлена возможность подключения ETL-блоков из внешнего репозитория
Добавлена переменная среды ETL_BLOCKS_REPOSITORY, которой можно присвоить адрес собственного репозитория. После чего в список ETL-блоков будут добавлены блоки из стороннего репозитория.
Добавлено управление количеством ядер для spark-задач по синхронизации моделей
Добавлена переменная ETL_SPARK_MAX_CORES для конфигурации запуска Spark-задач. При указании значения переменной (например, ETL_SPARK_MAX_CORES=2), каждая задача Spark может использовать максимум указанное количество ядер ETL-сервера.
Виджеты
Добавлен функционал по работе с ранее созданными переменными
При работе с виджетами можно использовать ранее созданные переменные. Для добавления переменной в виджет нажмите на кнопку справа от поисковой строки (или справа от блока «Переменные») и в выпадающем списке в блоке «Переменная» выберите пункт «Выбрать из существующих».
Добавлен функционал по предоставлению доступа к переменным
Для настройки общего доступа к переменной пользователь должен быть автором этой переменной или иметь права на ее администрирование.
Добавлен новый тип переменной “Редактируемая”
Редактируемые переменные позволяют проводить анализ «что если», т.е. при просмотре виджета анализировать как изменение значений влияет на результаты формул. Редактируемая переменная может быть добавлена на виджет в виде поля ввода, списка, переключателя или календаря.
Пример работы редактируемой переменной с типом отображения “Переключатель” - при установке переключателя на значение “Выручка” происходит расчет показателя по сумме выручки за каждый год, при установке переключателя на значение “Количество” - рассчитывается общее количество заказов за каждый год:
Внедрены параметризованные запросы в Cube и изменена мета полей расчетных агрегатов
Для реализации нового типа переменных добавлены параметризованные запросы в Cube и миграции по унификации регистра в мете полей виджетов.
В некоторых случаях, для восстановления работы виджетов и панелей, потребуется повторная синхронизация моделей, перерегистрация кубов и корректировка формул агрегатов.
Если в формулах агрегатов или в SQL-фильтрах виджетов были использованы поля модели, в наименовании которых ранее использовались заглавные буквы, необходимо вручную исправить их наименования - привести все буквы в наименованиях таких полей к нижнему регистру.
Информационные панели
Добавлен системный виджет “Изображение”
Системный виджет “Изображение” позволяет разместить на панели логотипы, фоны и другие изображения.
Добавлен системный виджет “Переменные”
Системный виджет “Переменная” позволяет разместить на панели редактируемую переменную, использующуюся на виджетах, как самостоятельную единицу, после размещения данная переменная скрывается на всех виджетах, где была выведена.
Администрирование
Реализовано API для очистки “Корзины” от удаленных объектов
Техническому администратору доступен метод для очистки хранилища от неактуальных данных пользователей.
Расширены возможности лицензионной политики
Лицензии Системы могут содержать в себе функциональные лицензии, определяющие квоты на количество активных объектов - для лицензий, по которым нет доступа к внешних сервисам интеграции (“integration”:false), доступна установка ограничений на объекты (источники, модели, виджеты и панели). В этом случае создание объектов определенного типа будет лимитировано.
Другие улучшения
Внесены улучшения:
- [Устранена недоступность S3 хранилища после запуска ML сервисов на дефолтных значениях переменных];
- [Исправлены неточности в работе ручной публикации виджетов]
- [Доработано сохранение пароля при просмотре объекта по публичной ссылке];
- [Доработан метод GET /export];
- [Скорректирован просмотр объекта по публичной ссылке, при использовании значений редактируемых переменных из модели];
- [Функционал по передаче параметров и событий перенесен на просмотр объектов по публичным ссылкам];
- [Устранены серверные неточности, обнаруженные в ходе тестирования версии 1.27];
- [Добавлена возможность регулировки отображения информации о сайте на странице авторизации];
- [Добавлен вывод ошибки получения данных вместо validation error for ModelObjectTestData log при запуске ETL-блока];
- [Устранена бесконечная загрузка виджета при выборе полей в фильтре-справочнике];
- [Добавлена проверка на нахождение объектов, доступных группе пользователей, в личном каталоге при удалении пользователя из группы пользователей];
- [Скорректировано отображение виджетов на информационной панели с учетом наследуемых прав доступа от каталогов];
- [Добавлены обработчики для типов полей bool и LowCardinality при чтении данных из БД Clickhouse];
- [Добавлен обработчик на заглавные буквы в расчетных агрегатах виджета]
Ошибки
Исправлены ошибки:
- [Устранена ошибка при клонировании моделей с вложенными объектами (в т.ч. с ETL-блоками)];
- [Устранена ошибка при автозаполнении JSON-блока].
Технические изменения от релиза к релизу, требующие внимания разработчиков и девопсов
- Добавлены параметры:
- ETL_BLOCK_REPOSITORY=
- Добавлен сервис etl-tasks