Чем более продвинуто технически (совершеннее!)

средство, тем более примитивные, никчемные и 

бесполезные сведения при его помощи передаются.

Станислав Лем

Общее ускорение процессов практически всех сфер жизнедеятельности вызывает лавинообразный рост объемов информации, повышение уровня сложности данных, их многообразия и формализации. Стремление к полноте и объективности информации требует применения технологий и методов, способных не только хранить и обрабатывать данные, избавляя их от противоречивости и множественности, но также позволяющих своевременно обеспечить ту или иную форму производственной деятельности необходимой целостной и полезной информацией (репрезентативным набором данных), избежать фрагментации при обработке данных и в целом информационного кризиса не только в рамках некой замкнутой, изолированной системы, такой как бизнес-процесс, предприятие, или даже социальная группа, но и на уровне целых отраслей и экономик.

Существующая практика фрагментации обработки данных в рамках различных процессов, систем, приложений, видов деятельности и групп пользователей приводит к эффекту комбинаторного взрыва, при котором каждые вновь полученные данные увеличивают число взаимосвязей в геометрической прогрессии. Повышение многообразия состава вычислительной инфраструктуры вызывает чрезмерную сложность ее операционной эксплуатации и, как следствие, приводит   к полной парализации управления и обработки информации.

Отдельные технологии, способные в той или иной степени решать проблему фрагментации данных, позволяют хранить и обрабатывать огромные объемы информации, преодолевая информационный барьер[1]. Однако основной вопрос применения технологии, как и ее ценность, заключается не столько в скорости обработки и передачи потоков данных в единицу времени, сколько в возможности формирования репрезентативной выборки на основе генеральной совокупности данных, и последующем применении индуктивных методов анализа для установления закономерностей и построения достоверных аналитических прогнозов.

Таким образом, современная технология для работы с данными стремится к совмещению целого ряда решений  на базе единой интеграционной платформы, обладающей целостным единством (что, тем не менее, не подразумевает ее абсолютную универсальность!), и призванной решать сложнейшие задачи управления данными в конвергентных информационных средах в режиме реального времени. В SAP такая концепция реализована в интеграционном технологическом комплексе SAP Real Time Data Platform, центральным компонентом которого является SAP HANA[2].

Снижение стоимости вычислительных мощностей является предпосылкой к применению SAP HANA не только в качестве акселератора отдельных задач, а к полному переходу от использования дисковых подсистем к реализации задач хранения и управления данными в оперативной памяти. С другой стороны необходимо отметить, что ежедневный анализ терабайтов данных в оперативной памяти снижает общую производительность вычислительной архитектуры. В этом случае полезный объем оперативной памяти целесообразно использовать для хранения и обработки данных в рамках горизонта анализа (как правило, такой горизонт составляют данные не менее чем за последние три года деятельности организации), а дисковые подсистемы и традиционные СУБД – для хранения исторических и архивных сегментов, требующих значительных объемов дискового пространства.

Одним из примеров подобной архитектуры служит использование СУБД SAP Sybase IQ в качестве Near Line Store (NLS) для SAP NetWeaver Business Warehouse. Такая реализация позволяет эффективно и гибко управлять жизненным циклом и обменом информации, учитывая все преимущества указанных технологий.

Использование SAP HANA совместно с такой масштабируемой распределенной инфраструктурой, как Hadoop расширяет пределы информационной емкости, позволяя организовывать хранилища данных, содержащие петабайты информации[3]. Преимущества Hadoop предоставляют возможность реализовывать алгоритмы пакетной обработки данных (в задачах, для которых время отклика не является критичным), архивации и ретроспективного анализа данных (доступ к которым не требует оперативности в реальном времени). Hadoop в этом случае используется для агрегации результатов из различных