Общее
Что такое AW BI?
Отечественная BI-платформа полного цикла: хранилище на ClickHouse, ETL с возможностями графического моделирования, конструктор дашбордов и ML-инструменты. Работает через web-интерфейс. Включена в реестр российского ПО Минцифры, соответствует требованиям импортозамещения и 187-ФЗ.
Что «под капотом» AW BI?
Apache Spark - распределенная обработка данных, Apache Airflow - оркестрация ETL, ClickHouse - внутреннее хранилище для построения витрин, PostgreSQL - метаданные и логи, MLflow - управление ML-моделями.
Есть ли демо или пилот?
Да, открытый для всех стенд aw-demo.ru без ограничений по времени и функционалу. Возможна организация пилота на инфраструктуре заказчика.
Производительность
Насколько AW BI быстрый на больших объёмах?
ClickHouse - признанный лидер аналитических СУБД по скорости. Колоночное хранение, Apache Spark внутри AW BI для распределённых вычислений и собственный движок OZ (оптимизатор запросов) обеспечивают высокую производительность даже на больших массивах данных.
Есть ли in-memory вычисления?
ClickHouse использует колоночное хранение, кэш в RAM и самописный движок OZ - производительность сопоставима с in-memory решениями. Live-модели дополнительно позволяют работать с данными напрямую, без промежуточного слоя хранения.
Можно ли масштабировать систему под рост нагрузки?
Инфраструктура AW BI поддерживает горизонтальное (добавление серверов) и вертикальное (увеличение мощностей) масштабирование. Базовые требования для небольших объёмов (< 10 млн строк) — один сервер: 16 CPU, 32 GB RAM, 300 GB SSD.
Рекомендуемая конфигурация — 3 сервера для распределения нагрузки: Backend, ETL и ClickHouse. При двух серверах: Backend+ClickHouse и отдельно ETL. Подробнее о распределённой установке — в документации, стандартные конфигурации до 1000 пользователей — также там.
Источники данных
К каким источникам можно подключиться?
- БД: 1C, ClickHouse, PostgreSQL, MS SQL, Oracle, MySQL, Greenplum, Vertica, MariaDB, Firebird, Red Database
- Файлы: xlsx, csv, json, xml, txt, tsv, qvd, ods, jsonl, архивы; файлы по URL с маской
- Web-сервисы: любые REST API и HTTP-эндпоинты
Если нет нужного источника в списке - доступно подключение через JDBC-драйвер. Полный список и инструкции по подключению — в документации.
А Snowflake, FTP, Excel из OneDrive, QVD?
Excel из OneDrive и FTP — да. QVD — да, начиная с версии 1.28. Snowflake — через JDBC-коннектор.
Есть ли подключение напрямую к БД без загрузки в хранилище?
Да - Live-модели для ClickHouse, Arenadata QuickMarts. Прямые запросы без копирования данных напрямую.
ETL и автоматизация
Что умеет встроенный ETL?
В AW BI реализован полноценный графический ETL-редактор, закрывающий множество кейсов даже без написания кода. Помимо этого возможно применение SQL/Python-скриптов. Оркестрация через Apache Airflow с автогенерацией DAG. Push-уведомления о статусах - прямо в интерфейсе AW BI.
На каком языке пишутся запросы и вычисления?
- В моделях (вычисляемые поля, SQL-блоки) - SparkSQL
- В ETL к внешним БД - SQL на диалекте источника (PostgreSQL, MySQL и др.) + Python
- В виджетах (агрегаты) — встроенный язык расчётных агрегатов с математическими, строковыми, датными, логическими и оконными функциями → справочник
Легко ли освоить ETL-процессы в AW BI?
Да, возможно начать практическое пользование AW BI сначала с помощью встроенных средств объединения данных (UNION/JOIN), применить готовые ETL-блоки для трансформации данных, а по мере необходимости использовать более сложные скрипты обработки данных (SQL/Python). Дополнительно есть бесплатное обучение на Stepik с описанием того как устроена архитектура решения изнутри + возможные случаи применения в ETL-задачах.
Можно ли запускать внешние программы и вызывать API из ETL?
Да: через Python-скрипты, вызовы REST API - Telegram, Google Sheets, любые HTTP-эндпоинты. Примеры на портале: работа с web-сервисами, получение данных с Google Sheets, ETL-блок декоратор.
Можно ли добавлять собственные ETL-блоки?
Да, из вашего git-репозитория. → документация для разработчиков
Можно ли извне триггерить запуск ETL-задач?
Да, через REST API AW BI. Документация и запуск Swagger — по ссылке.
Есть ли CI/CD - перенос разработок между средами?
Сейчас перенос между средами (тест → прод) выполняется через API (например, через Postman). CI/CD в формате self-service - в ближайших планах развития.
Дашборды и визуализация
Какие виджеты доступны из коробки?
Более 30 типов: 3 вида таблиц (обычная, сводная, таблица агрегатов), столбчатые, линейные, круговые, пузырьковые, тепловые, каскадные диаграммы, воронка, диаграмма потоков, карты, датчик, радар, тренд, древовидные карты, HTML-виджет. HTML-виджет даёт возможность интегрировать в решение любую стороннюю библиотеку для визуализации и создать кастомные графики. → все типы виджетов в документации
Можно ли создавать кастомные HTML-виджеты?
Да. HTML-виджет позволяет реализовать любую визуализацию на HTML/CSS/JS — нестандартные диаграммы, интерактивные элементы. Примеры и разбор реализаций:
Общий гайд по созданию HTML-виджетов
KPI + фото сотрудников
Геовиджет с метками
Добавление шапки в аналитическую панель
Нужно ли знать программирование для работы с дашбордами?
Применение Python может пригодиться пользователю с ролью разработчика при формировании витрины данных на уровне моделей, чтобы в последствии использовать для построения дашборда. Для пользователя с лицензией аналитика — нет. Базовая работа: drag-and-drop, визуальный конструктор, формульный язык агрегатов. HTML/CSS/JS могут дополнительно пригодиться для разработке кастомных виджетов.
Работает ли на мобильных устройствах?
Да. Полностью web-based, без приложения. На этапе сборки дашборда настраивается отдельный макет под каждый тип устройства:
- Компьютер — 1440px и выше
- Ноутбук — 1200px и выше
- Планшет — 768px и выше
- Телефон — до 768px
Это даёт ряд преимуществ, в ходе которых можно предусмотреть разное поведение одного и того же макета дашборда под всевозможные устройства. Подробнее о настройке адаптивной вёрстки: документация · статья на портале · видеоразбор
Можно ли встроить виджет или дашборд в стороннюю систему?
Да - через <iframe>. При встраивании доступна двусторонняя передача параметров фильтрации между дашбордом и внешним приложением через postMessage. → пример встраивания виджета на сайт
Можно ли кастомизировать внешний вид под бренд заказчика?
Да. Доступна кастомизация: цвета (встроенная палитра или HEX/RGB/HSL), шрифты, скругления, тени, градиенты, фоновые изображения.
Доступ и безопасность
Как устроены роли и права?
В системе предусмотрена разрешающая модель доступа — ABAC (атрибутная модель).
3 основные лицензионные роли: Специалист, Аналитик, Разработчик + нелицензируемая роль технического администратора. Гранулярные права на каждый объект (просмотр, редактирование, клонирование, удаление, загрузка данных, изменение расписания, администрирование…) - индивидуально или для групп, с наследованием через каталоги доступа. Поддерживается создание групп пользователей для массового присвоения стандартных наборов разрешений. → таблица прав по умолчанию
Как работает RLS (Row-Level Security)?
Атрибутный доступ к строкам модели работает на уровне модели: например, менеджер видит только свои данные, директор - все по всем предприятиям. Настраивается через правила на модели. → документация по атрибутному доступу · общая документация
Есть ли возможность скрыть дашборд от всех, кроме конкретного пользователя?
Да. Права на дашборд задаются вплоть до конкретного пользователя или группы пользователей. Если доступ не предоставлен, дашборд не отображается при переходе по внутренней ссылке. Обратите внимание: публичная ссылка на дашборд не ограничивается правами доступа — для таких сценариев используйте ограничения на уровне модели данных.
Какие механизмы аутентификации поддерживаются?
OpenID Connect (OIDC), LDAP, LDAP Kerberos, SSO, внутренняя аутентификация. 2FA - через внешний провайдер (например, Keycloak). SSO-токен обеспечивает бесшовный переход из внешних систем без повторного ввода пароля. → подробнее про провайдеры в документации
Можем ли мы сами раздавать доступы?
Да. Доступы раздают владельцы объектов и пользователи с соответствующими правами.
Экспорт и рассылки
В каких форматах доступен экспорт данных?
CSV, XLSX, PDF, PNG - вручную или автоматически по расписанию.
Есть ли авторассылки отчётов?
Да: email-рассылки виджетов и дашбордов в форматах PDF / PNG / XLSX / CSV / ссылка. Гибкое расписание (cron), группы получателей, закладки и фильтры. При настройке рассылки можно указать адаптацию под устройство получателя. → документация
Можно ли отправлять данные в Telegram?
Да, через Python-скрипт в ETL-редакторе - в том числе по событию (например, при превышении порогового значения). → готовый пример
ML и AI
Есть ли инструменты машинного обучения?
Да. Готовые ETL-блоки: прогнозирование временных рядов, классификация/регрессия, ML-модель в ручном режиме. Из коробки - MLflow для регистрации и версионирования своих моделей. Библиотеки: scikit-learn, PyTorch, CatBoost, Prophet, statsmodels. Поддерживается связка с Jupyter-подобными инструментами. Описание каждого ETL-блока и его параметров доступно по ссылке «Подробнее о блоке» в окне настройки. → документация по ETL-блокам · ML-марафон (видео) · пример первой ML-модели
API и интеграции
Можно ли получать данные через API?
Да. AW BI предоставляет REST API с токен-авторизацией и фильтрацией. Используется как для получения данных из моделей, так и для управления системой. Документация и запуск Swagger — по ссылке. Пример получения данных из AW BI в Jupyter — в документации.
Можно ли встроить дашборд в стороннее приложение?
Да — через <iframe> с поддержкой двусторонней передачи параметров фильтрации через postMessage. Подходит для встраивания в корпоративные порталы, ERP-системы, сайты. → пример встраивания
Обучение и сообщество
Как научиться работать с AW BI?
- 3 бесплатных курса на Stepik - от новичка до разработчика
- Полная документация с примерами на русском: docs.aw-bi.ru
- Портал сообщества: примеры, гайды, вопросы-ответы → community.analyticworkspace.ru
- Образовательные партнёры: Нетология, SkyPro, OTUS, SF Education, РБК Образование
Нужны ли редкие или дорогие специалисты?
Нет. Разработчики используют стандартные технологии рынка: SQL, Python, ClickHouse, Apache Airflow. Пул специалистов широкий, стоимость найма - рыночная. Множество сервисов нативно интегрировано и доступны с первого же разворота системы, что упрощает взаимодействие с системами в компании.
Администрирование
Где смотреть фоновые ETL-процессы?
домен/etl-api/app/front#/monitor — монитор ETL-задач.
домен/spark — консоль Spark Master (ресурсы, обработчики).
Как отслеживать действия пользователей в системе?
В интерфейсе доступен журнал действий пользователей — фильтрация по типу действия, пользователю и времени. Аналогичный интерфейс доступен для виджетов и информационных панелей. → документация
Как мониторить нагрузку - какие дашборды самые тяжёлые, кто нагружает систему?
Внутреннюю базу AW можно подключить как источник данных и построить на её основе собственный дашборд мониторинга. Данные для подключения к БД хранятся в .env файле в директории установки AW BI. → подробнее в документации. Для системного мониторинга поддерживается интеграция с Zabbix → инструкция, а также Grafana, Prometheus, cAdvisor.
Как логируется работа системы?
Все изменения пишутся в PostgreSQL: объект, время, автор, старое и новое значение. Для анализа активности пользователей — подключение Яндекс.Метрики или внутренней базы AW как датасета. Данные для подключения к БД хранятся в .env файле в директории установки AW BI (путь по умолчанию: opt/aw/app).
Как получить подробные ошибки для отладки?
Включить режим отладки в .env файле (путь по умолчанию: opt/aw/app, фактический — в директории установки):
YII_DEBUG=true
YII_ENV=dev
После — перезапустить: docker compose down && docker compose up -d
Не нашли ответ? Задайте вопрос в комментариях, либо напишите в наше AW.Сообщество