Візуалізацыя аналітычных дадзеных

Візуалізацыя аналітычных дадзеных

Рабатызацыя справаздачнасці і аналітыкі

Праблема

У Кліента, кампаніі малога і сярэдняга бізнэсу (МСБ), дадзеныя, неабходныя для прыняцця рашэнняў разрозненыя, прадстаўлены ў розных фарматах, трымальнікам аналітычных дадзеных па асобных кірунках дзейнасці кампаніі з'яўляюцца адказныя працаўнікі, ад якіх залежыць поўнасць і аператыўнасць падавання гэтых дадзеных.

Паколькі ўкараненне дарагога карпаратыўнага сховішча дадзеных з прыладамі загрузкі, узбагачэнні і візуалізацыі дадзеных у арганізацыі МСБ эканамічна немэтазгодна, кіраўніцтва кампаніі прыняло рашэнне аб укараненні інструментаў BI-аналітыкі і распрацоўцы дашбордаў, якія адлюстроўваюць стан кампаніі ў анлайн рэжыме.

Задачы праекта

У кароткія тэрміны і па даступнай цане забяспечыць кіраўніцтву кампаніі і менеджэрам сярэдняга ўзроўню магчымасць самастойна атрымліваць і аналізаваць дынаміку асноўных паказчыкаў дзейнасці кампаніі ў цэлым і ў разрэзе асобных напрамкаў.

Аб праекце

Сэрвіс візуалізацыі дадзеных працуе 24/7, складаецца з 3 кампанентаў:

  • сродкі візуалізацыі на платформе Apache Superset (тое, што бачыць канчатковы карыстач);
  • кіравання размяшчэннем аналітычных дадзеных (забяспечвае праграмны робат);
  • канструктара дашбордаў (працоўная прылада аналітыка).

Кампанента "Сродкі візуалізацыі" (інструмент кіраўніка) забяспечвае адлюстраванне дадзеных у выглядзе дыяграм на некалькіх узроўнях з рознай ступенню дэталізацыі (вызначаецца патрэбнасцю аналітыка). На дашбордах, якія складаюцца з дыяграм, скампанаваных па прадметных абласцях аналітыкі, прадстаўлены агрэгаваныя дадзеныя ў розных зрэзах, якія вызначаюцца зададзенымі фільтрамі.

Для стварэння дашбордаў (вітрын дадзеных) адпрацоўваюць дзве іншыя кампаненты сэрвісу.

У прыватнасці, кампанента "Кіраванне размяшчэннем аналітычных дадзеных" (праграмны робат замест аналітыка, уладальніка дадзеных) адказвае за збор разрозненых ўваходных дадзеных (з базы дадзеных інфармацыйна-аналітычнай сістэмы, уліковых сістэм, з CSV-, EXCEL-файлаў) і перадачу ў сістэму візуалізацыі.

Функцыі дадзенай кампаненты выконвае праграмны робат (RPA), які працуе ў двух рэжымах па камандзе аналітыка:

  • рэжым абнаўлення раней створанага набору дадзеных і створаных на яго аснове дашбордаў;
  • рэжым стварэння набору дадзеных і публікацыі новых дашбордаў.

Расклад для кожнай справаздачнай формы, па якой створаны наборы дадзеных і дашборды, задаецца ў канфігурацыйным файле робата.

Робат умее выконваць наступныя аперацыі:

  • работа з электроннымі паведамленнямі;
  • запуск працэсу абнаўлення раней створанага набору дадзеных і створаных на яго аснове дашбордаў па раскладзе;
  • праца з архіўнымі файламі;
  • перасоўванне файлаў фармату csv/xlsх з дырэкторыі /у дырэкторыю;
  • праца з канфігурацыйным файлам у фармаце xlsх;
  • аўтарызацыя, прызначэнне правоў доступу ў Apache Superset;
  • імпартаванне файлаў фармату csv/xlsх у базу дадзеных Apache Superset, верыфікуе дадзеныя;
  • кланаванне папярэдніх набораў дадзеных і дашбордаў у прамысловыя і публікацыя іх на ўказаным карпаратыўным вэб-рэсурсе;
  • і многае іншае.

Робат менш чым за хвіліну апрацоўвае масівы з некалькіх дзясяткаў тысяч радкоў, за некалькі хвілін - масівы дадзеных аб'ёмам больш за мільён радкоў!

Узаемадзеянне робата і менеджэра ажыццяўляецца з дапамогай адпраўкі каманд робату і атрымання апавяшчэнняў, якія адпраўляюцца робатам па выніках выканання тых ці іншых аперацый.

Трэцяя кампанента "Канструктар дашбораў на платформе Apache Superset" (інструмент BI-аналітыка) працуе, калі дадзеныя загружаныя ў базу дадзеных СКБД Apache Superset і служыць канструктарам для пабудовы / змены дашбордаў.

Наша рашэнне заснавана на платформе з адчыненым праграмным кодам Apache Superset, сумяшчальнай з вялікай колькасцю як платных СКБД: Microsoft Sql Server, Oracle,

так і бясплатных: MySql, PostgreSQL. Можа функцыянаваць пад кіраваннем АС сямейства Linux, такіх як Debian.

Мы правялі навучанне і напісалі кіраўніцтва карыстальніка.

Стэк тэхналогій

Sherpa RPA, C #, JS, PowerShell

Вынік праекта

З дапамогай сэрвісу нам удалося аўтаматызаваць руцінны механічны працэс збору, апрацоўкі і візуалізацыі аналітычных дадзеных кліента.

Хуткасць атрымання аналітычных дадзеных і іх візуалізацыі павялічылася ў 20 разоў.

Выключаны памылкі пры агрэгацыі і фарміраванні зрэзаў дадзеных.

Кіраўнікі атрымалі магчымасць аператыўнага прыняцця рашэнняў, заснаваных на аналізе дадзеных аб дзейнасці кампаніі.