Релиз 1.31 [10.2024]

Описание релизов
1

Улучшения и новая разработка

:warning:
ВАЖНО
Версия имеет значительные изменения в структуре хранения данных, поэтому обновление на версию будет необратимым, т.е. вернуться на версии ниже будет невозможным.

:warning:
ВАЖНО
В версии недоступен функционал:

  • SQL-запросов к файловым источникам (поправлено в свежих сборках версии);
  • использования в моделях источников с типом “Файл” с вариантом загрузки “Ссылка”;
  • создания расчетных переменных;
  • экспорта виджетов в файлы форматов .xlsx и .csv.

Могут быть неточности в работе виджетов при переключении режима автопубликации.

Источники

Добавлены параметры для настройки источника типа «OData»

Появилась возможность включать постраничную выгрузку данных из источника типа «OData». Включается в параметрах источника данных, название параметра: “РазмерСтраницы”.

Виджеты

Добавлен новый тип виджета “Таблица агрегатов” и поддержка LOD-выражений

Тип виджета “Таблица агрегатов” - это таблица, поля которой, выведенные в группы и агрегаты, отображаются в качестве столбцов, что позволяет увидеть данные, структурированные по важным категориям, а также использовать расширенный набор агрегатных функций (LOD-выражений) для повышения уровня детализации при вычислении.

Таблица агрегатов
Таблица агрегатов1916×920 96.8 KB

Добавлена поддержка функций FIXED, INCLUDE и EXCLUDE.

Добавлены новые настройки в табличные виджеты

Добавлено сохранение пользовательских настроек ширины колонок в редактировании виджета.

Добавлены возможности скрытия и закрепления столбцов в режимах редактирования и просмотра.

Возможность скрытия и закрепления столбцов
Возможность скрытия и закрепления столбцов1920×916 99.5 KB

В подблок “Показатели” блока “Заголовки” и в подблок “Первичные данные” блока “Данные” добавлена возможность переноса текста.

Перенос текста
Перенос текста1920×918 91.2 KB

В подблок “Показатели” блока “Заголовки” добавлены дополнительные опции: “Горизонтальное выравнивание”, “Вертикальное выравнивание”, “Показатели” (для управления скрытыми показателями), “Сбросить ширину” (для сброса пользовательских настроек ширины колонок до рассчитанных по умолчанию).

Дополнительные опции блока "Заголовки"
Дополнительные опции блока "Заголовки"1920×920 82.2 KB

Добавлен блок настроек “Строки и сетка”.

Строки и сетка
Строки и сетка1924×921 115 KB

Добавлено скрытие показателей в графических виджетах

Скрытые показатели могут участвовать в вычислениях, форматировании, фильтрации и сортировке, при этом не будет отображаться на графике.

Скрытые показатели
Скрытые показатели1920×921 110 KB

Информационные панели

Изменен визуальный компонент настроек расположения элементов, выравнивания, отступов и расстояния между элементами.

Настройки расположения элементов на ИП
Настройки расположения элементов на ИП1916×919 197 KB

Добавлена возможность установки сортировки для системных виджетов фильтров

Обновлена форма создания системных виджетов фильтров в информационных панелях. Добавлены новые возможности настройки:

  1. Изменены поля для выбора модели и поля, для получения значений фильтра;
  2. Убран признак “Публичный” (будет восстановлен в версии 1.32);
  3. Для типов фильтра “Список” и “Множественный выбор” добавлены поля (“Поле для сортировки” и “Сортировка”) для задания сортировки значений справочников.

Сортировка для фильтров
Сортировка для фильтров1920×916 118 KB

Добавлена возможность сохранения состояния ИП в функционале “Закладки”

Закладка - это зафиксированное состояние панели после проводимых манипуляций в режимах просмотра (наложение фильтров и сортировок, изменение ширины колонок и скрытие полей в табличных виджетах, текущая вкладка).

На формах предпросмотра и просмотра панели (в т.ч. по внутренней ссылке) добавлен функционал “Закладки”. При изменении информационной панели можно добавить закладки для записи текущего состояния панели. Закладки сохраняют текущие фильтры и срезы, выбранные визуальные элементы, порядок сортировки и т. д. При добавлении закладок в панель пользователи могут вернуться к этому точному состоянию спустя время, выбрав сохраненную закладку.

Закладки
Закладки1920×910 132 KB

При создании закладки можно добавить краткое описание (выделить основные характеристики представления панели), пометить закладку признаком “Основная” (что позволит при открытии панели сразу переходить к более востребованному ее представлению) и открыть доступ к закладке для других пользователей Системы.

Настройки закладок

Функционал позволяет создать коллекцию закладок, изменить закладку и доступ к ней, сделать закладку основной, удалить закладку. Закладки могут быть применимы на всех типах устройств.

Коллекция закладок

Дополнен поиск объектов в конструкторе при построении информационной панели

Появилась возможность поиска системных виджетов по их названиям. Добавлена возможность поиска аналитических виджетов по названию их модели.

Общие изменения

Изменены формы добавления и изменения объектов

На формах для добавления и изменения вычисляемых полей, вычисляемых таблиц, иерархий, расчетных агрегатов и переменных изменено расположение полей “Наименование” и “Алиас”, добавлены подсказки.

Добавлены интерфейсные возможности для раздвижения блоков настроек

В разделах “Модели”, “Виджеты” и “Информационные панели” появились возможности расширения блока настроек объекта. Для моделей добавлена опция сворачивания/разворачивания блока “Источники”.

В виджеты и информационные панели добавлен функционал по работе с представлениями

Представления - это слепок текущего состояния виджета/панели для дальнейшего его использования в функционалах “Закладки” и “Ссылки с представлениями”.

Добавлено логирование действий по снятию права на объект

Логируется информация о снятии прав на каталоги и объекты.

Проведена работа по унификации уведомлений

Изменился размер и визуальный вид системных уведомлений, добавлены опции “Показать полностью”/“Свернуть” и “Скопировать”.

Другие улучшения

Внесены улучшения:

  1. Устранены серверные неточности обнаруженные в ходе тестирования 1.29;
  2. Устранены серверные неточности обнаруженные в ходе тестирования 1.30;
  3. Устранены серверные неточности обнаруженные в ходе тестирования 1.31;
  4. Устранены неточности в работе форматирования после рефакторинга;
  5. Устранены неточности в работе функционала сводных таблиц при изменениях;
  6. Устранены интерфейсные неточности обнаруженные в ходе тестирования 1.30;
  7. Устранены интерфейсные неточности обнаруженные в ходе тестирования;
  8. Устранены интерфейсные неточности форматирования виджетов, связанные со значением “0”;
  9. Устранены уязвимости версий 1.25 -1.28, 1.30;
  10. Скорректировано отображение списка полей в правилах доступа у моделей с ETL-блоками;
  11. Убрана возможность объявления дат справочниками через иерархии;
  12. Добавлены предупреждающие уведомления при работе с live-моделями, в которых имеются поля, начинающиеся с цифры;
  13. Скорректированы значения поля parent_id в таблице map_data для новых регионов;
  14. Скорректированы выгрузки виджетов и панелей в форматы .png и .pdf на IOS-устройствах и в браузере Mozila Firefox;
  15. Доработана фильтрация групп-строк в тепловой карте при наложении фильтров в панели;
  16. Изменен оператор фильтрации для системного виджета “Ползунок”;
  17. Добавлены информативные сообщения о лицензии при создании пользователей;
  18. Устранены замечания по системному виджету “Изображение”;
  19. На форме редактирования ИП в блоке “Конструктор” дополнена работа фильтра “Используемые”;
  20. Добавлена возможность изменять размер изображения в preview;
  21. Добавлена проверка на наличие прав в запросы удаления и изменения пользователей;
  22. Обновлены иконки в Системе;
  23. Добавлена проверка аутентификации в airflow для auth-bridge (для aw-user);
  24. Скорректированы уведомления при ошибках во время синхронизации;
  25. Поправлен функционал перемещений групп в “Хлебных крошках” виджета;
  26. Добавлено заполнение widget_config при клонировании панели и экспорте меты;
  27. Проведена актуализация сервиса интеграции по созданию внешних объектов;
  28. Исправлена некорректная работа редактируемой переменной;
  29. Исправлено форматирования по цвету текста в виджетах типа “Тренд”;
  30. Доработана работа операторов Топ/Антитоп;
  31. Проведена корректировка окон с участниками групп пользователей;
  32. Скорректировано определение позиции z-индекса виджетов в ИП;
  33. Скорректирована работа промежуточных и итоговых агрегатов.

Ошибки

Исправлены ошибки:

  1. Устранены ошибки в работе SQL-блока, который добавлен через импорт;
  2. Восстановлена работа виджетов с переменными при отключении автопубликации виджетов;
  3. Устранена ошибка при изменении настроек системных виджетов “Кнопка” и “Изображение” в версии 1.31;
  4. Устранены серверные ошибки, возникшие в версии 1.31;
  5. Устранена ошибка повторного открытия параметров etl-блока, возникшая в версии 1.31;
  6. Устранена ошибка “Не найдены метаданные” блока “Декоратор” при синхронизации модели.

Важная информация для команд проектной разработки и devops

  • Добавлено сохранение файлов в S3 для сервиса puppeteer.

  • Отредактированы политики для minio.

  • Зафиксирована версия библиотеки pydantic.

:warning: Необходимые изменения, которые должны быть внесены после обновлений:

Изменения в prod-образах:

Добавлены образы:

  • etl-mono - единый образ для всех ETL-сервисов. В версии 1.30 ещё не все сервисы переведены на него.

Удалены образы:

  • etl-airflow (заменен на etl-mono)
  • etl-spark-master (заменен на etl-mono)
  • etl-spark-worker (заменен на etl-mono)
  • ml-spark-master (заменен на etl-mono)
  • ml-spark-worker (заменен на etl-mono)
  • ml-data-preview
  • ml-airflow-worker (заменен на etl-mono)

Изменения в топологии:

  • Вместо сервисов etl-airflow-webserver, etl-airflow-scheduler и etl-airflow-worker теперь запускается единый сервис etl-airfow;

  • Вместо сервисов etl-spark-master, etl-spark-worker теперь запускается единый сервис etl-spark;

  • Удалены сервисы ml-spark-master, ml-spark-worker, ml-data-preview, ml-airflow-worker. Отдельных сервисов для ML задач больше нет. Вся функциональность по работе ML-моделей запускаются в составе основных etl-сервисов.

  • Сервисы ml-flow и ml-flow-db переименованы в etl-mlflow и etl-mlflow-db и перенесены из docker-compose.ml.yml в основной docker-compose.yml;

  • Удалены docker-compose файлы для запуска ML-сервисов: docker-compose.ml.yml, docker-compose.ml.override.yml, docker-compose.ml.prod.yml;

Изменения в конфигурации:

Добавлены переменные:

  • ETL_AIRFLOW_WORKERS - Количество воркеров для Airflow (по умолчанию, 16)

  • ETL_AIRFLOW_WORKERS_AUTOSCALE - Включает режим автоскалирования воркеров Airflow (по умолчанию, пусто). Указывается в виде двух значений, разделенных через запятую. Первое значение - макс.количество воркеров, второе - мин.количество (например, 16,8). Cистема будет стараться держать минимальное количество воркеров, увеличивая их только при нагрузке. При указании автоскалирования, значение ETL_AIRFLOW_WORKERS игнорируется

  • ETL_AIRFLOW_WEBSERBER_WORKERS - Количество воркеров для web-сервера Airflow, в т.ч. для API (по умолчанию, 4)

  • ETL_AIRFLOW_SCHEDULER_LOG_LEVEL - Уровень логирования у шедулера Airflow. Нужно менять только в случае отладки (по умолчанию, тут ERROR, а то будет супер интенсивный вывод к лог контейнера). Сами логи лежат в …/logs/airflow/scheduler

  • ETL_AIRFLOW_SCHEDULER_PARSING_PROCESSES - Количество процессов, которые используются для парсинга дагов (по умолчанию, 2)

  • ETL_API_WORKERS - Количество web-воркеров для etl-api (по умолчанию, 1)

  • ETL_DATA_PREVIEW_WORKERS - Количество web-воркеров для etl-data-preview (по умолчанию, 4)

  • ETL_MLFLOW_WORKERS - Количество воркеров для web-сервера Mlflow, в т.ч. для API (по умолчанию, 4)

  • ETL_MLFLOW_URL - Внутренний URL к Mlflow (по умолчанию, http://etl-mlflow). Используется при многохостовом развертывании. Данный параметр заменил MLFLOW_URL у auth-bridge

  • ETL_DATA_PREVIEW_SPARK_CORES - Количество ядер, которое выделяется на Spark-задачи предпросмотра в etl-data-preview (по умолчанию, 1). Если указать *, то будут использоваться все ядра

  • ETL_DATA_PREVIEW_SPARK_MEMORY - Лимит памяти, которая выделяется на Spark-задачи предпросмотра в etl-data-preview (gо умолчанию, 1g). Принимает значения вида число+(“k”, “m”, “g” или “t”) (например: 512m, 2g)

  • AW_DATA_MASTER_WORKERS - Количество web-воркеров для дата-мастера (по умолчанию, 2)

  • AW_DATA_MASTER_EXPORT_MODEL_DATA - Управляет возможностью выгрузки данных моделей. ALLOW/ON/TRUE (в любом регистре) - разрешено, DENY/OFF/FALSE (в любом регистре) - запрещено, любое другое непустое значение - запрещено (по умолчанию, ALLOW)

  • AW_FILE_PULLER_INTERNAL_DS_S3_URL - указывает на бакет s3-хранилища, в котором размещаются файлы источников. URL заканчивается именно бакетом, без папки ‘data_source’ и т.п., например: http://minio_user:minio_pass@minio:9000/aw-bucket’

Удалены переменные:

  • MLFLOW_URL для auth-bridge (заменен на ETL_MLFLOW_URL)