Что обсуждалось ранее

В предыдущей статье Многоуровневая масштабируемая архитектура (ММА). Введение мы подчеркнули, что разработка крупномасштабного BW хранилищ данных (EDWs) должна следовать таким же архитектурным принципам, как и строительство крупных зданий.

Должны соблюдаться следующие принципы строительства:

• стандартизация,
• масштабируемость,
• исключение временных решений,
• эффективное использование материалов,
• устойчивость от внешних воздействий.

Крупномасштабные BW хранилища данных (EDWs) должны выглядеть как на картинке выше - высоко стандартизированными. Многоуровная масштабируемая архитектура ММА (Layered Scalable Architecture  (LSA) описывает такие принципы проектирования.

В любом проекте зданиях имеются важные стандартизированные конструкции, их еще называют несущими конструкциями: это колонны и потолки. В ММА они называются «строительными блоками».

ММА строительные блоки – Архитектурные несущие конструкции

Строительные блоки ММА

• являются основой будущей архитектуры и имеют решающее влияние на общий успех проектируемого BW хранилища;
• описывают макет хранилища BW не зависящий от конкретных приложений BI и связанных проектов.

Принцип ММА призван обеспечить появление быстрого результата без потери полноты картины в целом. Обеспечение быстрого результата означает что уже после короткого мозгового штурма на первой фазе проекта, появляется первый вариант проекта клиентской ММА архитектуры который может использоваться как в новом внедрении BI с нуля, или в проекте миграция/развитии BI.

Быстрое развертывание ММА достигается путем деления строительных блоков на две категории

• Строительные блоки - ориентиры
• Строительные блоки - ассистенты

Блоки-ориентиры

• Слои
• Домены
• Модель данных
• Интеграция данных

Блоки-ассистенты

• Качество данных
• Ландшафт
• ETL
• Хранилище
• Владельцы/Организаторы
• Принципы разработки

Блоки-ориентиры обеспечивают для всех областей архитектуры принятие фундаментальных решений еще до начала внедрения/реализации, они  играют такую же роль, что и несущие конструкции (колонны и потолки) здания.

Архитектура ММА помогает проектировать строительные блоки, не ограничивая разработчика в задачах будущего развития системы, расширения ее функциональности и уточнения архитектуры системы во времени.

Блоки-ассистенты взаимодействуют с разными областями архитектуры, но обычно имеют меньший приоритет в момент формирования корпоративных стандартов разработки.

Что и когда использовать применительно к блокам-ассистенам во многом зависит от конкретных задач и условий выдвигаемых Заказчиком.

В целом принятие решения о проектировании строительных блоков-ассистентов означает принятие решения об инвестировании, что может потребовать много времени на внутренние согласования. Принимая это время во внимание, важно начать мозговой штурм по задачам архитектуры на самых ранних стадиях проекта.

ММА строительные блоки.

Любое проектируемое BW хранилище нуждается в стабильной, гибкой структуре. Эта структура определяется ММА строительными блоками: слои данных, домены и модель данных.

• Слои данных

Основная задача слоев - стандартизация управления загрузкой и фиксация структуры контейнеров данных (Data Store Objects (DSO) и InfoCubes) на всех этапах движения данных по системе: от экстракции до поставки данных в отчетные формы, от одного слоя к следующему. Концепция слоев должна применяются и использоваться на протяжении всего проекта, для всех потоков данных.

Концепция слоев – это горизонтально структурированное моделирование в котором поток данных организован в унифицированном, сервис-ориентированном направлении. Параметры, характеризующие слои:

• Покрытие
• Гранулярность
• Историчность
• Повторное использование
• Восстановимость
• Качество
• Интеграция
• Разделение прав
• Жизненный цикл

Домены данных

Домены - это стабильный раздел данных, соответствующий определенным критериям. Примером критерия, например, может быть географический признак. Самым простым примером домена для глобального BW EDW хранилища может выступать признак "континент". Тогда домены, определенные по критерию «континент», приводят в результате к секционированию данных, т.е. азиатские заказы на продажу и европейские, находятся в разных контейнерах данных (DSO, Инфо-кубах).

Домены обеспечивают структурирование и моделирование данных слоев. Прозрачное, разобщенное структурирование транзакционных данных с использованием стабильных, стандартизированных  правил.

Цель доменов:

• Поддержка независимости/автономности от объекта внедрения и организации
• Обеспечение режима доступности данных 24х7, независимость от временных зон
• Масштабируемость, производительность, низкая латентность
• Встраивание в реляционную часть СУБД (RDBMS)
• Устойчивость к расширению и операционная прочность

Для обеспечения прозрачности всей архитектуры рекомендуется применять доменную архитектуру для всех транзакционных данных всего BW EDW хранилища.

Модель BW данных

BW модель данных базируется на инфо-объектах BW (InfoObjects). Правильная стратегия модели данных позволяет сохранить архитектуру хранилища гибкой и консистентной.

Модель данных становится тем более важной, чем меньше основных данных остается невыгруженными в хранилище из систем заказчика. Для больших BW EDW хранилищ мы должны одновременно обеспечивать формирование кросс-отчетности как для корпоративных нужд, так и для местных потребностей по тактическим показателям или даже на операционном уровне. Это означает, что стратегия нашей модели данных должна учитывать как локальные несогласованные основные данных, так и интегрированные корпоративные мастер-данные.

В таком подходе нет ничего нового. Опытный BW консультант знает что многие клиенты используют возможности BW для решения этой проблемы (инфо-объекты концентрируют разные данные), но вы должны помнить об этом и принять концептуальное решение о том как разделять основные данные локального и глобального характера прежде чем начнете реализацию хранилища.

ММА блоки-ассистенты

Теперь давайте бросим краткий взгляд на блоки-ассистенты:

ETL