ВАЖНО: Версия Ver. 1.36 имеет необратимые изменения. Перед обновлением необходимо :
- Выполнить резервное копирование;
- Обновить ОС на сервере, где установлено внутреннее хранилище AW - БД ClickHouse, требуется ядро Linux 3.15+.
ВАЖНО: Версия Ver. 1.36 имеет значительные изменения в структуре хранения меты информационных панелей. После обновления может потребоваться корректировка ранее настроенных ИП.
Напоминаем общие рекомендации по настройке адаптивной верстки:
- Все объекты, расположенные на ИП, поместить в контейнер;
- В контейнере в настройке «Поведение в контейнере» поставить «Растянуть»;
- Для самой ИП/вкладки поменять настройку расположения элементов (вертикально или горизонтально).
ВАЖНО: В версии Ver. 1.36 может нестабильно работать функционал импорта/экспорта меты объектов. На стенд не будут импортированы модели, которые построены на данных других моделей. Рекомендуем воздержаться от его использования.
Примечание: исправлено в версии Ver. 1.36.2.
Улучшения и новая разработка
Источники
Добавлен отладчик для источников
Пример:
Инспектор источников позволяет:
- Проверить ошибки при подключении к источникам:
- Провести предварительную диагностику источника:
- Просмотреть и выполнить операции над кэшем источника (для файловых и odata-источников) - позволяет сбросить закэшированное состояние источника при возникновении каких-либо ошибок:
- Распознать некоторые специфичные ситуации, которые могут повлиять на синхронизацию моделей:
О функционале: Инспектор источника.
Реализована возможность подключения кастомных коннекторов к AW
Добавлена возможность подключения кастомных коннекторов к пользовательским источникам.
Подробнее в руководстве: Подключение к источнику через коннекторы.
Добавлена возможность чтения файлов из ftp (ftps) сервера и WebDAV-сервисов
Сервис file-puller доработан для работы с файловыми источниками, которые подключаются по протоколу FTP/FTP+TLS.
Реализована поддержка работы с файлами по протоколу WebDAV как с применением TLS, так и без применения криптографической защиты данных.
Подробнее в руководстве: FTP, WebDAV.
Расширен список типов источников, для которых доступно создание live-моделей
Добавлен новый тип источника данных ArenaData QuickMarts, для которого доступно создание live-моделей:
Пример:
Подробнее в руководстве: Live-модели.
Модели
Расширены возможности фильтрации данных в реестре “Модели”
Пример:
Обновлена форма для добавления и изменения соединений (JOIN’ов) между таблицами/объектами
Пример:
На формах создания и изменения вычисляемого поля модели добавлено расширенное состояние для параметра “Значение”
Пример:
Обновлены окна для создания и изменения SQL-запроса к источнику и к модели
Пример:
В ETL-блоках “SQL-блок” и “Вычисляемые поля” добавлено расширенное состояние для параметра “SQL выражение”
Пример:
Добавлена возможность указывать относительные даты начала и окончания в ETL-блоке “Временная серия”
Пример:
Внедрен beta-функционал по работе с ассоциативными моделями
Добавлено объединение данных из имеющихся логических моделей AW, что позволяет визуализировать данные без синхронизации данных в одну витрину.
Особенности использования ассоциативных моделей:
- работают c объектами базы данных AW в чистом виде (без создания SQL-запросов, без объединений join и union, без python-скриптов);
- не используют ETL.
Пример:
Подробнее в руководстве: Ассоциативные модели.
Виджеты
Для табличных виджетов добавлены настройки по переносу текста в группах
Пример:
При экспорте виджетов в XLSX формат добавлен параметр “Числовой формат” для настройки выгрузки
Пример:
Информационные панели
Изменена политика отображения данных в блоке “Структура”
Изменилось отображение объектов - доступны сразу все объекты ИП, разделенные по вкладкам.
Добавлена возможность перемещения объектов между вкладками:
В системном виджете “Контейнер” унифицированы и расширены настройки, добавлена возможность создания вкладок
Пример:
Обогащен функционал по работе с вкладками
Добавлена опция скрытия вкладок:
Добавлены новые типы вкладок и настройки для их кастомизации:
- “По умолчанию” - привычный вид вкладок в AW:
- “Переключатель”:
- “Список”:
Обновлена форма создания связей между виджетами ИП
ВАЖНО
Удалена ранее используемая схема связей виджетов в ИП (визуальное представление). При этом ранее созданные связи сохранены.
Пример:
Подробнее в руководстве: Настройка связи виджетов
Добавлена возможность автоматической установки связей между виджетами, построенными на одной модели
Подробнее в руководстве: Настройка связи виджетов
Другие улучшения
Внесены улучшения:
- Добавлен обработчик ошибок в рассылках на некорректные cron-выражения;
- Изменена логика сохранения провайдера после получения ошибки;
- Изменены ответы для методов проверки возможности удаления объектов;
- На форме редактирования модели добавлены модальные окна для подтверждения закрытия форм без сохранения внесенных изменений;
- Добавлена явная привязка расчетных агрегатов к модели и подготовлена миграция для привязки ранее созданных расчетных агрегатов к модели;
- Логирование просмотра ИП уточнено параметром source_type со значениями user, screen, email;
- Добавлены иконки типов источников в реестры, структуру и выпадающие списки;
- Добавлены иконки типов моделей в реестры, структуру и выпадающие списки;
- Скорректирована работа с листами Excel, в названии которых есть символ “точка”;
- Добавлено отображение дополнительных данных о пользователях, которым предоставлен общий доступ к системным фильтрам ИП;
- Дополнены подсказки на полях модели в структуре виджета и на название иерархии и переменных;
- Изменено отображение загруженного файла с длинным наименованием на форме создания и изменения файлового источника;
- Убрана кнопка “Скрыть” на иерархии в модели;
- Улучшены проверки при удалении/скрытии полей, изменении sql-запроса в модели;
- Установлен запрет на удаление со схемы модели объектов, поля которых используются в виджетах и в объектах ИП;
- Изменен принцип хранения пользовательской формы виджета “Облако тегов”;
- Для мобильных устройств и планшетов в списках убран автофокус со строки поиска;
- Заменены/добавлены иконки: для пустого состояния реестра пользователей в карточке группы пользователей, для кнопки “Назначить” в реестре пользователей, сортировок в окне изменения иерархии, для пустого состояния настроек администрирования объектов системы;
- Заменены подсказки: на форме просмотра участников группы пользователей, на форме изменения настроек подключения к источнику, типа устройства при настройке адаптивной ИП;
- В виджетах без группировок в полной выгрузке CSV восстановлена передача итоговых значений и исправлено отображение итоговых значений в сгруппированных таблицах;
- Для формул с агрегацией типа “Дата” добавлен параметр настройки “Формат”;
- Для виджетов с агрегацией по формуле добавлено применение настройки “Формат числа” /“Автоматическое форматирование” для отрицательных чисел и нуля;
- Исправлено отображение иконки подсказка в виджете “Таблица агрегатов”;
- Скорректирован метод клонирования панели в случае удаленного поля из модели, использующегося в настроенных связях;
- Исправлено поведение поля “Порт TCP” при сохранении в карточке источника;
- Уточнены отображения кнопок “Экспорт” у виджетов типа “Таблица агрегатов” и “Диаграмма потоков” и “Полное” состояние в файл формата CSV;
- Изменен текст ошибки в функции createClone при клонировании панели;
- Исправлена выгрузка первичных данных в виджетах с установленной агрегацией;
- Добавлен проброс лога с ошибкой в сообщение для пользователя при проверке подключения источника;
- Восстановлен множественный выбор источников и моделей при работе с моделью;
- Уточнен поиск пользователей и групп в учетных записях;
- Восстановлена одновременная фильтрация по датам входа и выхода в разделе “Активность пользователей”;
- Поправлено выравнивание виджета “Сводная таблица” в просмотре по публичной ссылке;
- Исправлены неточности в окне просмотра действий пользователей;
- Уточнены права на показ раздела “Параметры” в настройках live-моделей;
- Из реестра переменных убраны ранее добавленные в виджет переменные;
- В просмотр таблиц источника добавлено отображение партиционированной таблицы;
- Добавлено применение формата поля из модели в группах для виджетов “Таблица” и “Таблица агрегатов”;
- Унифицировано отображение пустых групп в виджете “Таблица агрегатов”;
- Восстановлено размещение иконки “Не отображать” для графических виджетов;
- Восстановлено отображение индикатора использования переменной в виджете;
- Изменен признак для определения использования расчетного агрегата в виджете и в формуле поля из иерархии;
- Добавлена дополнительная проверка на возможность удаления переменной и расчетного агрегата;
- Уточнена проверка на цикличность формулы расчетного агрегата;
- Исправлены неточности при экспорте сводной таблицы в файл формата XLSX;
- Скорректированы варианты расположения подписей в виджетах без внутреннего расположения;
- Добавлен учет перехода на новую строку в тексте сообщения для email - рассылок;
- Восстановлено применение настроек сортировки после сохранения системного фильтра;
- Улучшено построение графических виджетов при скрытии показателей;
- Восстановлен сброс уровня вложенности при смене типа виджета;
- Добавлены пустые состояния при переходе в настройки администрирования без соответствующих прав по прямой ссылке;
- Исправлен отступ у алиаса переменной при расположении снизу;
- Реализовано применение скрытой сортировки по группам-столбцам в каскадной диаграмме;
- Скорректировано отображение объекта при его переносе методом drag-and-drop;
- Проведены оптимизации для ускорения загрузки реестра “Модели”;
- Для корректного отображения фильтра по системному фильтру “Ползунок” оператор “между” добавлен в базовую фильтрацию числовых полей модели;
- Изменено отображение длинного алиаса поля в окнах подтверждения действия;
- Добавлено применение формата числа в подписях диаграммы потоков (Sankey);
- Добавлена перезагрузка воркера etl-data-preview после системных исключений в Pyspark ( [Errno 111] Connection refused).
Ошибки
Исправлены ошибки:
- Восстановлена возможность сортировки по расчетному агрегату с константами в сводной таблице;
- Восстановлена работа вызова before_all в etl-скриптах.
Важная информация для команд проектной разработки и devops
Внесены изменения:
- Необходимые изменения, которые должны быть внесены после обновлений, содержатся в разделе Обновление AW.
- Обновлена версия внутренней БД ClickHouse до 25.5.2.47.
- Проведено обновление компонентов backend.
- Библиотека Echarts обновлена до 6 версии.
- Удалена папка trash из minio.
- Механизм обслуживания БД Airflow перенесен из etl-stats в etl-tasks.