Анализ «больших данных» для финансового сектора

Публикую демонстрационный сценарий анализа «больших данных» (Big Data) для компаний финансового сектора. В сценарии будут проанализированы полу-структурированные данные по стоимости акций и дивидендам в разрезе соответствующих отраслей экономики за 30 лет (на основании данных Нью-Йоркской фондовой биржи). Аналогичные задачи могут быть актуальны для участников рынка ценных бумаг включая частных и институциональных инвесторов, таких как пенсионные фонды, банки, страховые компании, а также корпорации, размещающие на рынке собственные ценные бумаги.

В этой демонстрации команда компании, торгующей ценными бумагами, совместно производит анализ данных из Hadoop:

  1. Архитектор данных собирает информацию и делает ее доступной для других участников. Он использует Hadoop в Windows Azure и запросы Hive для агрегирования (укрупнения) стоимости акций и дивидендов по годам.
  2. Финансовый аналитик анализирует данные по стоимости акций и готовит отчеты для поддержки задач торговли и управления. Она использует надстройку Power Query для Excel для объединения данных из Hadoop с дополнительным набором данных по 500 наиболее крупным компаниям из Azure Marketplace Datamarket. Дополнительно она формирует модель данных Power Pivot и создает примеры отчетов Power View.
  3. Начальник управления ценных бумаг отвечает за формирование предложения по составу портфелей ценных бумаг для клиентов. Он самостоятельно производит изменения в отчеты Power View, полученные от финансового аналитика.

Ниже приведены некоторые снимки экрана из демонстрационного сценария.

role1-rus

role1-1

role1-2

role2-rus

role2-1

role2-2

role3-rus

role3-1

role3-2

 

 

Визуализация маршрутов в Power Map (GeoFlow) для Excel (на примере битумного рынка)

Продолжаю публиковать сценарии использования Power Map (GeoFlow) для Excel по визуализации данных битумного рынка на трехмерной географической карте.

Визуализация маршрутов в GeoFlow для Excel (на примере битумного рынка). Источник: Павел Аникеев, “ОМТ-Консалт”)

В этой демонстрации Павел Аникеев (директор аналитического центра группы компании “ОМТ-Консалт”) в том числе показывает, как можно визуализировать маршруты от нефтеперерабатывающих заводов, производящих битум, до регионов с возможностью фильтрации по заводу и региону.

Детали реализации маршрутов. Для отображения маршрутов каждому отрезку в Excel приписывается объем. В итоге точки на каждом отрезке светятся соответственно объему поставки. Павел Аникеев реализовал в Excel программу, где задается любая координата на карте РФ, а дальше формируется база из маршрутов от этой точки до административных центров.

Визуализация данных на 3D-карте с помощью Power Map (GeoFlow) для Excel

Последнее изменение: 28.04.2015

В Excel появилась возможность отображения множества слоев данных на трехмерной карте с помощью надстройки Power Map (GeoFlow) для Excel (надстройка доступна для загрузки с сайта Microsoft).

Надстройка позволяет пользователям самостоятельно настраивать несколько слоев отображения данных (до миллиона строк) на трехмерной карте, включать и выключать эти слои, настраивать вариант визуализации слоев в виде столбцов данных, окружностей, цветовых карт, а также просматривать как данные менялись с течением времени.

Отображение данных на трехмерной (3D) карте Bing

Еще одна возможность инструмента – возможность записи последовательности переходов по карте и включения/выключения слоев данных с целью последующей демонстрации.

Настройка последовательности демонстрации – в левой части экрана

Ниже приведена демонстрация работы с подготовленной картой GeoFlow, а затем показано как можно добавлять слои данных (скачать исходный Excel-файл можно здесь).

Замечание. Если актуальна задача использования многослойных карт на портале SharePoint (на момент последнего изменения данной страницы Power Map ), можно использовать партнерские решения: ArcGIS или ADV Solutions Visual Fusion.

Дополнительные материалы:

  1. Инсталляционный файл и начальные инструкции по работе с GeoFlow.
  2. Ренат Лотфуллин. Визуализация географических данных с помощью надстройки GeoFlow.
  3. Introduction to Excel GeoFlow (Beta 1)
  4. Руководство по установке и 5 файлов с исходными данными (на английском)
  5. Microsoft’s GeoFlow Lets Spreadsheet Jockeys Tell Stories with Maps (в начале статьи есть несколько интересных примеров визуализации; на английском)

Файл Excel 2013 со статистикой в разрезе субъектов РФ – PowerPivot и Power View

По просьбам общественности публикую текущую версию файла Excel 2013 со статистикой в разрезе субъектов РФ. Модель данных подготовлена с помощью PowerPivot и отображается в Excel с помощью Power View.

Файл находится в разделе «Аналитические модели» на сайте проекта http://public-intelligence.ru.

В ближайшие дни опубликую вебкасты о том, как устроена аналитическая модель в разрезе субъектов и бюджетной классификации, а также о том, как ее дополнять…

Читайте также:

  1. Анализ данных из произвольных источников с использованием PowerPivot
  2. Новое в Excel 2013 Preview для бизнес-аналитики
  3. Как общество может отслеживать результаты государственной деятельности с помощью Excel 2013

Анализ открытых статистических данных по РФ в Excel 2013

Excel 2013 позволяет любому пользователю Excel подключить для анализа данные, связанные с функционированием государства (с помощью PowerPivot) и проанализировать информацию с помощью интерактивных диаграмм Power View.

В представленной демонстрации показано, как использовать для анализа данные с сайта Единой межведомственной информационно-статистической системы и министерств финансов субъектов РФ.

Дополнительные материалы: Как общество может отслеживать результаты государственной деятельности с помощью Excel 2013

Новое в Excel 2013 Preview для бизнес-аналитики

Мечты сбываются… В новой предварительной версии Excel 2013 появились те функции для анализа информации, которые выводят Excel на совершенно новый уровень и фактически задают новый стандарт аналитики, доступной для всех…

Справедливости ради стоит заметить, что наиболее важный аналитический компонент PowerPivot, позволяющий создавать аналитические модели, был доступен для использования и для предыдущей версии – Excel 2010. Но сейчас PowerPivot и Power View (ранее доступный только при работе с порталом SharePoint) встроены в Excel 2013 по умолчанию.

Функция «молниеносного заполнения» (Flash Fill)

Благодаря функции «молниеносного заполнения» (Flash Fill) Excel может интеллектуально находить шаблоны в данных и предлагать соответствующий вариант заполнения оставшихся ячеек. Найденные правила можно в дальнейшем корректировать путем редактирования других ячеек редактируемого набора данных.

Функция “быстрого анализа” (Quick Analysis)

Функция “быстрого анализа” (Quick Analysis) позволяет начинающим пользователям мгновенно находить уникальные записи и дубликаты, а также добавлять рекомендованные для наборов данных диаграммы.

Фильтр «линия времени» (Timeline)

Новый визуальный фильтр «линия времени» (Timeline) автоматически определяет измерение времени в Excel-данных и позволяет более гибко фильтровать данные по времени.

Нововведения в работу с диаграммами

  1. Появилась возможность создавать «диаграммы трендов» (trend charts) для быстрого отображения данных по времени.
  2. Сводные таблицы и диаграммы перестали быть связанными объектами, т.е. сейчас можно создать сводную диаграмму без предварительного создания таблицы.

Power View в Excel 2013 Preview

В Excel 2013 сразу после установки доступен компонент Power View (доступный без подключения к порталу) со следующими дополнительными функциями:

  1. Интерактивные карты для отображения данных из сводных таблиц Excel, в которых присутствуют названия георграфических мест. При этом координаты определяются автоматически на основании названия объекта (нужно указать уровень наименования объекта)
  2. Поддержка иерархий и ключевых показателей эффективности (KPI)
  3. Поддержка переходов вниз и вверх по иерархиям (Drill Up, Drill Down)
  4. Расширенные возможности оформления: темы оформления, изменение размеров шрифтов, поддержка гиперссылок
  5. Возможности подключения к нескольким моделям в книге Excel, диапазону набора данных, взаимодействие с интернет/интранет-книгами Excel (в Excel Services), книгами Excel в Office 365.

Составные приложения в Excel 2013

В книги Excel 2013 можно встраивать внешние приложения Office 2013, которые можно связать с данными, находящимися непосредственно в диапазонах данных Excel. Пример такого приложения – «Bing Maps для Office»

Демонстрация

Дополнительная информация

Процесс создания карты в Power View описан в статье Show Map Inside Power View in Excel 2013.

Управление временем в Excel 2010 с помощью Calendar Analytics и PowerPivot

Сегодня появилась возможность эффективно анализировать время, затраченное на проведение мероприятий, если вы отмечаете это время в Outlook. Это стало возможно благодаря приложению Calendar Analytics для PowerPivot. Приложение извлекает данные о ваших встречах из сервера Exchange и представляет их в виде наглядных информационных панелей. Приложение работает как с корпоративной версией Exchange, так и с облачной (Office 365).

Приложение является бесплатным. Его можно скачать с сайта загрузок Microsoft.

После установки на рабочем столе появится файл Excel с информационными панелями. Для начала работы с приложением нужно на листе Excel нажать на кнопку «Refresh Calendar» и задать параметры обновления данных (для пробы рекомендую грузить данные за последние две недели, потом можно будет подгрузить больше данных). Далее обновляйте данные в PowerPivot, а затем в Excel.

Далее привожу несколько мыслей на тему использования этого приложения.

  1. После начала использования приложения, скорее всего, потребуется аккуратно категоризовать в Outlook встречи
    за интересующий вас период времени. После этого аналитика станет более наглядной.
  2. Вы можете внести изменения в информационные панели (именно так я сразу и сделал – не люблю круговые диаграммы), а также добавить собственные отчеты.
  3. Приложение позволяет собрать данные по времени с нескольких учетных записей Exchange, что полезно для руководителей.
  4. Outlook в настоящее время хорошо интегрирован с Project Server (синхронизирует задачи проектов). Следовательно, приложение будет очень полезно менеджерам проектов.

А сейчас посмотрим, какие рекомендации по использованию приложения дает Bruno Aziza и его коллеги (на английском).

Желаю вам сэкономить свое время с помощью данного приложения! Удачи!

Дополнительная информация: Официальный пресс-релиз