Windows Azure HDInsight стал поддерживать кластеры на базе Hadoop 2.2. Пока это работает в стадии предварительного просмотра.
В новой версии на порядок увеличен отклик на запросы (до 40 раз), обеспечивается сжатие данных (до 80%).
В качестве операционной системы используется YARN, основными преимуществами которой являются:
- возможность одновременного использования нескольких движков обработки данных: пакетного — MapReduce, интерактивного — Tez, онлайнового — HBase, потокового — Storm, графического — Giraf, исполняемого (runtime) — REEF и других;
- наличие средств эффективного использования ресурсов кластера и сервисов: управление и мониторинг, возможность распределения ресурсов сервера между несколькими организациями (multi-tenancy), безопасность, высокая доступность, восстановление в случае сбоев.
Дополнительно:
- Windows Azure Documentation. Get started using Hadoop 2.2 clusters with HDInsight (preview)
- Hortonworks Labs. YARN
- Strata Conference. REEF — Retainable Evaluator Execution Framework
- MSDN.ru. Хранение и обработка данных, Big Data, HPC
Filed under: Новости | Tagged: HDInsight | Leave a comment »
