Какие языки и диалекты используются при написании запросов/при написании агрегатов/дополнительных вычислений?
В моделях вычисляемые поля, SQL-блок, SQL-запрос к файлу — SparkSQL.
SQL-запросы к источникам-базам — SQL на диалекте БД (PostgreSQL, MySQL и др.).
В виджетах агрегаты — свой SQL-подобный синтаксис (подробнее в документации: https://webhelp.analyticworkspace.ru/ar23s01.html).
Есть ли in-memory вычисления в AW BI?
В AW используется многоуровневое кэширование данных виджетов и справочников с учетом ролевой модели. Если пользователь_1 смотрит дашборд впервые, то данные в нем будут прогружаться полностью и этот процесс может занять некоторое время. А пользователь_2 из этой же группы и с тем же наборов фильтров увидит этот дашборд практически мгновенно, за счет того, что данные будут взяты из кэша.
Где смотреть фоновые процессы?
Фоновые процессы ETL можно посмотреть по ссылке следующего формата: http://домен/etl-api/app/front#/monitor.
Также есть консоль Spark Master, которая позволяет просмотреть, что происходит в текущий момент в Spark Master (потребляемые ресурсы, доступные обработчики и прочее), ссылка: http://Название_домена/spark
Логирование работы с дашбордом
Для просмотра лога запусков дашбордов можно подключить Яндекс.Метрику, либо подключить файлы логов как датасет. В целом все изменения логируются с сохранением: объект изменения, время изменения, кто менял, старое значение, новое значение…
Логи копятся в PostgreSQL (БД с метаданными).
Скорость AW BI и быстродействие
Clickhouse внутри AW BI позволяет эффективно обрабатывать огромные объемы данных и выполнять выборки с высокой скоростью. Помимо этого применяется многослойное кэширование данных (сохранения в промежуточную память), что минимизирует время отклика системы. Первоначальная загрузка отчета может занять несколько секунд, но в дальнейшем, благодаря кэшированию, отчет будет загружаться практически мгновенно, что существенно повышает эффективность работы пользователей.
Можно ли, чтобы пользователь бесшовно попадал на дашборд?
Да, по средствам сквозной авторизации (OpenID Connect, LDAP, REST). Подробнее в документации: https://webhelp.analyticworkspace.ru/sect3_wwb_dqn_bsb.html.
Уведомления, рассылка и Telegram-бот с оповещениями
В AW BI есть отдельный центр уведомлений, где будут отображаться действия по работе внутри системы. Например, уведомления о загрузке данных модели или источника данных.
Система предусматривает удобный интерфейс создания рассылок виджетов и информационных панелей, подробнее можно посмотреть в данной статье: https://community.analyticworkspace.ru/t/sozdanie-rassylok-v-aw-bi/477
Механизм передачи в сторонние приложения такие как telegram можно организовать через python-скрипт, пример в статье (пункт 4)
Возможно ли разграничение прав доступа внутри системы?
Атрибутный доступ в AW BI к данным включает получение пользователем доступа к отдельным строкам данных модели на основании значений параметров (атрибутов) его учетной записи, полученных от провайдера.
Данный универсальный принцип позволяет реализовать множество различных сценариев управления доступом, таких как:
-
доступ только к области ответственности специалиста, например:
-
данным по деятельности собственной и нижестоящих организационных структур;
-
данным по собственному региону и его субъектам.
-
разделение доступа к данным по времени (периоду) к которому они относятся:
-
доступ только к данным созданным соответствующим периоду работы сотрудника;
-
доступ определенных категорий сотрудников только к историческим данным (данным за прошедшие периоды)
Помимо этого можно регулировать доступ для отдельных пользователей или групп пользователей (ссылка), регулируя права доступа к объектам (ссылка)
Можно ли добавить свои ETL-блоки, есть ли точки расширения системы?
Есть возможность, чтобы клиент создавал свои ETL-блоки Эти блоки подтягиваются из git-репозитория клиента — подробнее тут: https://dev.analyticworkspace.ru/latest/etl/etl_blocks/delivery/git_repo/
Актуальные источники данных (а есть ли подключение к…)?
-
БД (1C, ClickHouse, Firebird, Greenplum, MariaDB, MS SQL, MySQL, Oracle, PostgreSQL, Red, Vertica)
-
Файл (.xlsx, .xls, .csv, .json, .xml, .txt, .tsv, .xlsb, .ods, .odf, .jsonl, .qvd, архивы)
-
Web-сервис
За неимением нужного источника данных в списке коннеторов, в системе предусмотрена возможность добавить JDBC драйвер для подключения к другим источникам данных
Какие функции обработки данных есть в системе?
Пользователь может добавлять блоки Union, разные виды JOIN-ов, а также целые готовые ETL блоки для обработки данных. В AW BI возможно добавить вычисляемые поля, объединить поля в иерархии, а также обработать данные при помощи SQL-запросов и Python-функций
Требуется ли использовать языки для настройки визуализации?
В целом - нет, не требуется, но для расширения функциональной составляющей виджета можно создавать дополнительные переменные и расчетные агрегаты. Для них нужно использовать написание формул, а также создание сложных кастомных HTML-виджетов подразумевают написание HTML,CSS и JS кода
Есть ли обучающие курсы по языкам запросов в AW BI?
Да, бесплатные курсы от AW Academy + документация с наглядными примерами (приложение А).
Мы сможем сами администрировать и раздавать доступы?
Сможете, раздавать доступ на объекты системы (источники, модели, виджеты, дашборды) могут их владельцы и пользователи, которым дали на это разрешение
Есть ли возможность скрыть дашборд от всех, кроме ген.директора?
Есть ли возможность показывать менеджеру данные только конкретного менеджера, а директору всех менеджеров?
Да, есть, через атрибутный доступ к данным (RLS). Пример https://webhelp.analyticworkspace.ru/sect3_dpz_gxj_4qb.html
Где находятся сервера и можно ли установить на свой сервер?
Система может быть развернута в стороннем облаке или на вашем личном сервере.
Есть ли возможность подключать свои коннекторы?
Да, через JDBC.
Что с машинным обучением? Какие инструменты есть?
Системой предусмотрены готовые блоки ETL для работы с прогнозным моделированием:
-
Прогнозирование временного ряда
-
ML модель в ручном режиме
-
Классификация/регрессия
Можно расширить функционал системы так, чтобы можно было работать в связке с Jupiter подобными инструментами, а также из коробки устанавливается ML-Flow для регистрации своих собственных моделей машинного обучения
Мобильное приложение и верстка
Верстка приложения масштабируемая, дополнительно на этапе сборки информационной панели (дашборда) возможно предусмотреть работу ИП под разные типы устройств. Например, на экране мобильного устройства пользователь будет видеть только несколько основных виджетов, а с экрана компьютера их число будет больше.
Можно ли настроить рассылку по триггерам?
На данный момент по расписанию (подробнее выше). В дорожной карте на данный год предусмотрена возможность работы с “аллертингом”. Изменение ключевого показателя будет срабатывать триггером для оповещения об этом конечного пользователя. Ознакомиться с дорожной картой можно по ссылке