Какие языки и диалекты используются при написании запросов/при написании агрегатов/дополнительных вычислений?
В моделях вычисляемые поля, SQL-блок, SQL-запрос к файлу — SparkSQL.
SQL-запросы к источникам-базам — SQL на диалекте БД (PostgreSQL, MySQL и др.).
В виджетах агрегаты — свой SQL-подобный синтаксис (подробнее в документации: Синтаксис формул - - Инструмент интерактивного анализа и визуализации данных).
Есть ли in-memory вычисления в AW BI?
В AW используется многоуровневое кэширование данных виджетов и справочников с учетом ролевой модели. Если пользователь_1 смотрит дашборд впервые, то данные в нем будут прогружаться полностью и этот процесс может занять некоторое время. А пользователь_2 из этой же группы и с тем же наборов фильтров увидит этот дашборд практически мгновенно, за счет того, что данные будут взяты из кэша.
Где смотреть фоновые процессы?
Фоновые процессы ETL можно посмотреть по ссылке следующего формата: http://домен/etl-api/app/front#/monitor.
Также есть консоль Spark Master, которая позволяет просмотреть, что происходит в текущий момент в Spark Master (потребляемые ресурсы, доступные обработчики и прочее), ссылка: http://Название_домена/spark
Логирование работы с дашбордом
Для просмотра лога запусков дашбордов можно подключить Яндекс.Метрику, либо подключить файлы логов как датасет. В целом все изменения логируются с сохранением: объект изменения, время изменения, кто менял, старое значение, новое значение…
Логи копятся в PostgreSQL (БД с метаданными).
Скорость AW BI и быстродействие
Clickhouse внутри AW BI позволяет эффективно обрабатывать огромные объемы данных и выполнять выборки с высокой скоростью. Помимо этого применяется многослойное кэширование данных (сохранения в промежуточную память), что минимизирует время отклика системы. Первоначальная загрузка отчета может занять несколько секунд, но в дальнейшем, благодаря кэшированию, отчет будет загружаться практически мгновенно, что существенно повышает эффективность работы пользователей.
Можно ли, чтобы пользователь бесшовно попадал на дашборд?
Да, по средствам сквозной авторизации (OpenID Connect, LDAP, REST). Подробнее в документации: https://webhelp.analyticworkspace.ru/sect3_wwb_dqn_bsb.html.
Уведомления, рассылка и Telegram-бот с оповещениями
В AW BI есть отдельный центр уведомлений, где будут отображаться действия по работе внутри системы. Например, уведомления о загрузке данных модели или источника данных.
Система предусматривает удобный интерфейс создания рассылок виджетов и информационных панелей, подробнее можно посмотреть в данной статье: Создание рассылок в AW BI
Механизм передачи в сторонние приложения такие как telegram можно организовать через python-скрипт, пример в статье (пункт 4)
Возможно ли разграничение прав доступа внутри системы?
Атрибутный доступ в AW BI к данным включает получение пользователем доступа к отдельным строкам данных модели на основании значений параметров (атрибутов) его учетной записи, полученных от провайдера.
Данный универсальный принцип позволяет реализовать множество различных сценариев управления доступом, таких как:
-
доступ только к области ответственности специалиста, например:
-
данным по деятельности собственной и нижестоящих организационных структур;
-
данным по собственному региону и его субъектам.
-
разделение доступа к данным по времени (периоду) к которому они относятся:
-
доступ только к данным созданным соответствующим периоду работы сотрудника;
-
доступ определенных категорий сотрудников только к историческим данным (данным за прошедшие периоды)
Помимо этого можно регулировать доступ для отдельных пользователей или групп пользователей (ссылка), регулируя права доступа к объектам (ссылка)
Как реализован RLS в AW BI
AW BI предоставляет гибкие механизмы управления доступом: права доступа можно назначать как отдельным пользователям, так и группам пользователей.
Также, можно давать доступ к данным через атрибуты. Для настройки доступа в рамках одного виджета (например, чтобы сотрудники видели данные только своего региона) настраиваются правила доступа на уровне модели данных.
Подробнее в документации (https://docs.aw-bi.ru/latest/models/access_rules/).
Можно ли добавить свои ETL-блоки, есть ли точки расширения системы?
Есть возможность, чтобы клиент создавал свои ETL-блоки Эти блоки подтягиваются из git-репозитория клиента — подробнее тут: https://dev.analyticworkspace.ru/latest/etl/etl_blocks/delivery/git_repo/
Актуальные источники данных (а есть ли подключение к…)?
-
БД (1C, ClickHouse, Firebird, Greenplum, MariaDB, MS SQL, MySQL, Oracle, PostgreSQL, Red, Vertica)
-
Файл (.xlsx, .xls, .csv, .json, .xml, .txt, .tsv, .xlsb, .ods, .odf, .jsonl, .qvd, архивы)
-
Web-сервис
За неимением нужного источника данных в списке коннеторов, в системе предусмотрена возможность добавить JDBC драйвер для подключения к другим источникам данных
Есть ли внутренние инструменты для контроля обновлений и оповещений?
Мы информируем клиентов о выходе новых релизов через личный кабинет и дублируем уведомления в чаты. Особое внимание уделяем клиентам с запросам на улучшение продукта. Крупные (мажорные) релизы выходят нечасто.
Функционал для отправки автоматических оповещений при достижении критических значений на дашбордах (например, уведомление руководства по email) находится в стадии разработки. На текущий момент доступна отправка отчетов по расписанию (Создание email рассылок - AW BI).
Какие функции обработки данных есть в системе?
Пользователь может добавлять блоки Union, разные виды JOIN-ов, а также целые готовые ETL блоки для обработки данных. В AW BI возможно добавить вычисляемые поля, объединить поля в иерархии, а также обработать данные при помощи SQL-запросов и Python-функций
Требуется ли использовать языки для настройки визуализации?
В целом - нет, не требуется, но для расширения функциональной составляющей виджета можно создавать дополнительные переменные и расчетные агрегаты. Для них нужно использовать написание формул, а также создание сложных кастомных HTML-виджетов подразумевают написание HTML,CSS и JS кода
Есть ли обучающие курсы по языкам запросов в AW BI?
Да, бесплатные курсы от AW Academy + документация с наглядными примерами (приложение А).
Мы сможем сами администрировать и раздавать доступы?
Сможете, раздавать доступ на объекты системы (источники, модели, виджеты, дашборды) могут их владельцы и пользователи, которым дали на это разрешение
Администрирование и масштабирование ресурсов
Архитектура системы позволяет гибко масштабировать ресурсы под ваши задачи: возможно как увеличение мощности отдельных серверов, так и вынесение компонентов системы на выделенные узлы для распределения нагрузки.
Для нагрузок до 1000 пользователей мы предлагаем стандартные рекомендуемые конфигурации. (1000 пользователей - AW BI. Техническая документация)
Для проектов с большим количеством пользователей мы проводим индивидуальный расчет. Для этого необходимо заполнить опросник, и на его основе мы подготовим детализированные рекомендации по инфраструктуре.
Есть ли возможность скрыть дашборд от всех, кроме ген.директора?
Есть ли возможность показывать менеджеру данные только конкретного менеджера, а директору всех менеджеров?
Да, есть, через атрибутный доступ к данным (RLS). Пример https://webhelp.analyticworkspace.ru/sect3_dpz_gxj_4qb.html
Где находятся сервера и можно ли установить на свой сервер?
Система может быть развернута в стороннем облаке или на вашем личном сервере.
Есть ли возможность подключать свои коннекторы?
Да, через JDBC.
Что с машинным обучением? Какие инструменты есть?
Системой предусмотрены готовые блоки ETL для работы с прогнозным моделированием:
-
Прогнозирование временного ряда
-
ML модель в ручном режиме
-
Классификация/регрессия
Можно расширить функционал системы так, чтобы можно было работать в связке с Jupiter подобными инструментами, а также из коробки устанавливается ML-Flow для регистрации своих собственных моделей машинного обучения
Мобильное приложение и верстка
Верстка приложения масштабируемая, дополнительно на этапе сборки информационной панели (дашборда) возможно предусмотреть работу ИП под разные типы устройств. Например, на экране мобильного устройства пользователь будет видеть только несколько основных виджетов, а с экрана компьютера их число будет больше.
Можно ли настроить рассылку по триггерам?
На данный момент по расписанию (подробнее выше). В дорожной карте на данный год предусмотрена возможность работы с “аллертингом”. Изменение ключевого показателя будет срабатывать триггером для оповещения об этом конечного пользователя. Ознакомиться с дорожной картой можно по ссылке
Можно ли получать метаданные системы через API?
Для извлечения данных из внешних источников, включая веб-сервисы, предназначен ETL-редактор.
Документация по ETL-редактору: Ссылка (ETL-скрипты - AW BI. Техническая документация)
Пример использования на курсе: Ссылка (https://stepik.org/course/173638/promo)
Мы также подготовили ряд статей по работе с веб-сервисами:
- Работа с web-сервисами (Работа с web-сервисами)
- Получение данных с Google Sheets в ETL с помощью Python (Получение данных с google sheets в ETL с помощью python - #3 от пользователя airat_13)
- Интеграция с ФРНСИ в сфере здравоохранения (Интеграция с ФРНСИ в сфере здравоохранения)
Документация по API AW доступна через Swagger (Интерфейс описания API - Swagger - AW BI. Техническая документация) после установки платформы на ваши серверы. В открытом доступе она не представлена.
Как отслеживать текущее состояние сервисов и выявлять критические сбои?
Для мониторинга работоспособности компонентов системы в реальном времени и анализа истории инцидентов мы рекомендуем использовать специализированные системы мониторинга.
В нашей документации (Инструкция по настройке мониторинга компонентов AW с помощью Zabbix - AW BI. Техническая документация) представлен пример настройки такого мониторинга на основе Zabbix.
Также для диагностики, у нас имеется diag-check, запуск самодиагностики доступен уже и в интерфейсе системы (ccылка) (Диагностика кластера AW - AW BI. Техническая документация)