Tehnologii moderne de prelucrare a datelor mari. Big Data și blockchain - o descoperire în domeniul analizei datelor

Accelerarea constantă a creșterii datelor este un element integral al realităților moderne. Rețelele sociale, dispozitivele mobile, datele de la dispozitivele de măsurare, informațiile de afaceri sunt doar câteva tipuri de surse care pot genera cantități gigantice de date.

În prezent, termenul Big Data a devenit destul de comun. Nu toată lumea este încă conștientă de cât de rapid și profund tehnologiile de procesare a cantităților mari de date schimbă cele mai diverse aspecte ale societății. Au loc schimbări în diverse domenii, dând naștere la noi probleme și provocări, inclusiv în domeniul securității informațiilor, unde aspectele sale cele mai importante precum confidențialitatea, integritatea, disponibilitatea etc. ar trebui să fie în prim plan.

Din păcate, multe companii moderne recurg la tehnologia Big Data fără a crea infrastructura adecvată pentru a stoca în siguranță cantitățile uriașe de date pe care le colectează și le stochează. Pe de altă parte, tehnologia blockchain se dezvoltă în prezent rapid, care este concepută pentru a rezolva aceasta și multe alte probleme.

Ce este Big Data?

De fapt, definiția termenului este simplă: „big data” înseamnă gestionarea unor volume foarte mari de date, precum și analiza acestora. Dacă privim mai larg, aceasta este o informație care nu poate fi procesată prin metode clasice din cauza volumelor mari.

Termenul Big Data în sine a apărut relativ recent. Potrivit Google Trends, creșterea activă a popularității termenului a avut loc la sfârșitul anului 2011:

În 2010 au început să apară primele produse și soluții legate direct de prelucrarea datelor mari. Până în 2011, majoritatea celor mai mari companii IT, inclusiv IBM, Oracle, Microsoft și Hewlett-Packard, folosesc în mod activ termenul Big Data în strategiile lor de afaceri. Treptat, analiștii de piață a tehnologiei informației încep cercetările active asupra acestui concept.

În prezent, acest termen a câștigat o popularitate semnificativă și este utilizat în mod activ într-o varietate de domenii. Cu toate acestea, nu se poate spune cu certitudine că Big Data este un fel de fenomen fundamental nou - dimpotrivă, sursele de date mari există de mulți ani. În marketing, acestea includ baze de date cu achizițiile clienților, istoricul creditului, stilul de viață și așa mai departe. De-a lungul anilor, analiștii au folosit aceste date pentru a ajuta companiile să prezică nevoile viitoare ale clienților, să evalueze riscurile, să modeleze preferințele consumatorilor și multe altele.

În prezent, situația s-a schimbat în două aspecte:

— au apărut instrumente și metode mai sofisticate pentru analiza și compararea diferitelor seturi de date;
— instrumentele de analiză au fost completate cu multe surse de date noi, datorită tranziției pe scară largă la tehnologiile digitale, precum și noilor metode de colectare și măsurare a datelor.

Cercetătorii prevăd că tehnologiile Big Data vor fi utilizate cel mai activ în producție, asistență medicală, comerț, administrație guvernamentală și în alte domenii și industrii diverse.

Big Data nu este o serie specifică de date, ci un set de metode de procesare a acestora. Caracteristica definitorie a datelor mari nu este doar volumul, ci și alte categorii care caracterizează procesele de prelucrare și analiză a datelor care necesită forță de muncă.

Datele inițiale pentru prelucrare pot fi, de exemplu:

— jurnalele de comportament ale utilizatorilor de internet;
- Internetul Lucrurilor;
- social media;
— date meteorologice;
— cărți digitalizate din biblioteci importante;
— semnale GPS de la vehicule;
— informații despre tranzacțiile clienților băncii;
— date privind localizarea abonaților rețelei mobile;
— informații despre achizițiile din marile lanțuri de retail etc.

De-a lungul timpului, volumul de date și numărul surselor acestora este în continuă creștere, iar pe acest fundal apar noi metode de procesare a informațiilor, iar cele existente sunt îmbunătățite.

Principiile de bază ale Big Data:

— Scalabilitate orizontală – matricele de date pot fi uriașe și asta înseamnă că sistemul de procesare a datelor mari trebuie să se extindă dinamic pe măsură ce volumul lor crește.
— Toleranță la defecțiuni – chiar dacă unele elemente ale echipamentului defectează, întregul sistem trebuie să rămână operațional.
— Localitatea datelor. În sistemele mari distribuite, datele sunt de obicei distribuite pe un număr semnificativ de mașini. Cu toate acestea, ori de câte ori este posibil și pentru a economisi resurse, datele sunt adesea procesate pe același server unde sunt stocate.

Pentru funcționarea stabilă a tuturor celor trei principii și, în consecință, pentru o eficiență ridicată a stocării și procesării datelor mari, sunt necesare noi tehnologii inovatoare, cum ar fi, de exemplu, blockchain.

De ce avem nevoie de date mari?

Domeniul de aplicare al Big Data este în continuă extindere:

— Datele mari pot fi folosite în medicină. Astfel, un diagnostic poate fi pus pentru un pacient nu numai pe baza datelor dintr-o analiză a istoricului medical al pacientului, ci și luând în considerare experiența altor medici, informații despre situația de mediu a zonei de reședință a pacientului și multi alti factori.
— Tehnologiile Big Data pot fi utilizate pentru a organiza circulația vehiculelor fără pilot.
— Prin procesarea unor cantități mari de date, puteți recunoaște fețe în fotografii și videoclipuri.
— Tehnologiile Big Data pot fi utilizate de comercianții cu amănuntul - companiile comerciale pot folosi în mod activ seturi de date din rețelele sociale pentru a-și personaliza eficient campaniile de publicitate, care pot fi direcționate la maximum către un anumit segment de consumatori.
— Această tehnologie este utilizată activ în organizarea campaniilor electorale, inclusiv pentru analiza preferințelor politice din societate.
— Utilizarea tehnologiilor Big Data este relevantă pentru soluțiile din clasa de asigurare a veniturilor (RA), care includ instrumente pentru detectarea inconsecvențelor și analiza aprofundată a datelor, permițând identificarea în timp util a pierderilor probabile sau a distorsiunilor de informații care ar putea duce la o scădere a rezultate financiare.
— Furnizorii de telecomunicații pot agrega date mari, inclusiv geolocalizarea; la rândul lor, aceste informații pot prezenta un interes comercial pentru agențiile de publicitate, care le pot folosi pentru a afișa publicitate țintită și locală, precum și pentru retaileri și bănci.
— Big data poate juca un rol important în decizia de a deschide un punct de vânzare cu amănuntul într-o anumită locație, pe baza datelor despre prezența unui flux puternic de persoane vizate.

Astfel, cea mai evidentă aplicație practică a tehnologiei Big Data se află în domeniul marketingului. Datorită dezvoltării internetului și proliferării tuturor tipurilor de dispozitive de comunicare, datele comportamentale (cum ar fi numărul de apeluri, obiceiurile de cumpărături și achizițiile) devin disponibile în timp real.

Tehnologiile de date mari pot fi utilizate eficient și în finanțe, pentru cercetarea sociologică și în multe alte domenii. Experții susțin că toate aceste oportunități de utilizare a datelor mari sunt doar partea vizibilă a aisbergului, deoarece aceste tehnologii sunt utilizate în volume mult mai mari în informații și contrainformații, în afaceri militare, precum și în tot ceea ce se numește în mod obișnuit război informațional.

În termeni generali, secvența de lucru cu Big Data constă în colectarea datelor, structurarea informațiilor primite folosind rapoarte și tablouri de bord și apoi formularea de recomandări de acțiune.

Să luăm în considerare pe scurt posibilitățile de utilizare a tehnologiilor Big Data în marketing. După cum știți, pentru un marketer, informația este principalul instrument de prognoză și dezvoltare a strategiei. Analiza datelor mari a fost folosită de mult timp cu succes pentru a determina publicul țintă, interesele, cererea și activitatea consumatorilor. Analiza datelor mari, în special, face posibilă afișarea reclamelor (pe baza modelului de licitație RTB - Real Time Bidding) doar acelor consumatori care sunt interesați de un produs sau serviciu.

Utilizarea Big Data în marketing le permite oamenilor de afaceri să:

— cunoaște-ți mai bine consumatorii, atrage un public similar pe internet;
— evaluarea gradului de satisfacție a clienților;
— să înțeleagă dacă serviciul propus corespunde așteptărilor și nevoilor;
— găsiți și implementați noi modalități de creștere a încrederii clienților;
— creați proiecte care sunt solicitate etc.

De exemplu, serviciul Google.trends poate indica unui agent de marketing o prognoză a activității sezoniere a cererii pentru un anumit produs, fluctuațiile și geografia clicurilor. Dacă comparați aceste informații cu datele statistice colectate de plugin-ul corespunzător de pe propriul site, puteți întocmi un plan de distribuție a bugetului de publicitate, indicând luna, regiunea și alți parametri.

Potrivit multor cercetători, succesul campaniei electorale Trump constă în segmentarea și utilizarea Big Data. Echipa viitorului președinte al SUA a reușit să împartă corect audiența, să-i înțeleagă dorințele și să arate exact mesajul pe care alegătorii vor să-l vadă și să-l audă. Astfel, potrivit Irinei Belysheva de la Data-Centric Alliance, victoria lui Trump a fost posibilă în mare măsură datorită unei abordări non-standard a marketingului pe Internet, care s-a bazat pe Big Data, analiză psihologică și comportamentală și publicitate personalizată.

Strategii politici și marketerii ai lui Trump au folosit un model matematic special dezvoltat, care a făcut posibilă analiza profundă a datelor tuturor alegătorilor din SUA și sistematizarea acestora, făcând o țintire ultra-precisă nu numai după caracteristicile geografice, ci și după intențiile, interesele alegătorilor, psihotipul lor, caracteristicile comportamentale etc. După Pentru a realiza acest lucru, marketerii au organizat o comunicare personalizată cu fiecare grup de cetățeni în funcție de nevoile, stările de spirit, opiniile politice, caracteristicile psihologice și chiar culoarea pielii, folosind propriul mesaj pentru aproape fiecare alegător individual.

Cât despre Hillary Clinton, în campania ei a folosit metode „testate în timp” bazate pe date sociologice și marketing standard, împărțind electoratul doar în grupuri formal omogene (bărbați, femei, afro-americani, latino-americani, săraci, bogați etc.) .

Drept urmare, câștigătorul a fost cel care a apreciat potențialul noilor tehnologii și metode de analiză. Este de remarcat faptul că cheltuielile de campanie ale lui Hillary Clinton au fost de două ori mai mari decât ale adversarului ei:

Date: Pew Research

Principalele probleme ale utilizării Big Data

Pe lângă costul ridicat, unul dintre principalii factori care împiedică implementarea Big Data în diverse domenii este problema alegerii datelor care trebuie prelucrate: adică determinarea care date trebuie preluate, stocate și analizate și care ar trebui să fie prelucrate. să nu fie luate în considerare.

O altă problemă cu Big Data este etică. Cu alte cuvinte, apare o întrebare logică: o astfel de colectare de date (mai ales fără știrea utilizatorului) poate fi considerată o încălcare a vieții private?

Nu este un secret pentru nimeni că informațiile stocate în motoarele de căutare Google și Yandex le permit giganților IT să-și îmbunătățească în mod constant serviciile, să le facă ușor de utilizat și să creeze noi aplicații interactive. Pentru a face acest lucru, motoarele de căutare colectează date utilizatorilor despre activitatea utilizatorului pe Internet, adrese IP, date de geolocalizare, interese și achiziții online, date personale, mesaje de e-mail etc. Toate acestea le permit să afișeze reclame contextuale în conformitate cu comportamentul utilizatorului pe internetul. În acest caz, de obicei nu se cere consimțământul utilizatorilor pentru acest lucru și nu se oferă posibilitatea de a alege ce informații despre ei înșiși să furnizeze. Adică, în mod implicit, totul este colectat în Big Data, care va fi apoi stocat pe serverele de date ale site-urilor.

Aceasta duce la următoarea problemă importantă privind securitatea stocării și utilizării datelor. De exemplu, este sigură o anumită platformă analitică către care consumatorii își transferă automat datele? În plus, mulți reprezentanți de afaceri constată o lipsă de analiști și agenți de marketing cu înaltă calificare, care pot gestiona eficient volume mari de date și pot rezolva probleme specifice de afaceri cu ajutorul lor.

În ciuda tuturor dificultăților cu implementarea Big Data, afacerea intenționează să crească investițiile în acest domeniu. Potrivit cercetării Gartner, liderii industriilor care investesc în Big Data sunt companiile media, retail, telecom, bancare și servicii.

Perspective de interacțiune între tehnologiile blockchain și Big Data

Integrarea cu Big Data are un efect sinergic și deschide o gamă largă de noi oportunități pentru afaceri, inclusiv permițând:

— obțineți acces la informații detaliate despre preferințele consumatorilor, pe baza cărora puteți construi profiluri analitice detaliate pentru anumiți furnizori, produse și componente ale produsului;
— integrarea datelor detaliate privind tranzacțiile și statisticile de consum ale anumitor grupuri de bunuri pe diferite categorii de utilizatori;
— să primească date analitice detaliate privind lanțurile de aprovizionare și de consum, să controleze pierderile de produse în timpul transportului (de exemplu, pierderea în greutate datorată uscării și evaporării anumitor tipuri de mărfuri);
— contracararea contrafacerii produselor, creșterea eficienței luptei împotriva spălării banilor și fraudei etc.

Accesul la date detaliate privind utilizarea și consumul bunurilor va dezvălui în mod semnificativ potențialul tehnologiei Big Data pentru optimizarea proceselor cheie de afaceri, reducerea riscurilor de reglementare, dezvăluirea de noi oportunități de monetizare și crearea de produse care vor satisface cel mai bine preferințele actuale ale consumatorilor.

După cum se știe, reprezentanții celor mai mari instituții financiare manifestă deja un interes semnificativ față de tehnologia blockchain, inclusiv etc. Potrivit lui Oliver Bussmann, manager IT al holdingului financiar elvețian UBS, tehnologia blockchain poate „reduce timpul de procesare a tranzacțiilor de la câteva zile la câteva zile. minute”.

Potențialul de analiză din blockchain folosind tehnologia Big Data este enorm. Tehnologia contabilă distribuită asigură integritatea informațiilor, precum și stocarea fiabilă și transparentă a întregului istoric al tranzacțiilor. Big Data, la rândul său, oferă noi instrumente pentru analiză eficientă, prognoză, modelare economică și, în consecință, deschide noi oportunități pentru luarea unor decizii de management mai informate.

Tandemul de blockchain și Big Data poate fi folosit cu succes în domeniul sănătății. După cum se știe, datele imperfecte și incomplete despre starea de sănătate a pacientului cresc foarte mult riscul unui diagnostic incorect și al tratamentului prescris incorect. Datele critice despre sănătatea clienților instituțiilor medicale ar trebui să fie protejate la maximum, să aibă proprietăți de imuabilitate, să fie verificabile și să nu facă obiectul niciunei manipulări.

Informațiile din blockchain îndeplinesc toate cerințele de mai sus și pot servi drept sursă de date de înaltă calitate și fiabile pentru o analiză aprofundată folosind noile tehnologii Big Data. În plus, cu ajutorul blockchain-ului, instituțiile medicale ar putea face schimb de date fiabile cu companii de asigurări, autorități judiciare, angajatori, instituții științifice și alte organizații care au nevoie de informații medicale.

Big Data și securitatea informațiilor

Într-un sens larg, securitatea informațiilor este protecția informațiilor și a infrastructurii de sprijin împotriva impacturilor negative accidentale sau intenționate de natură naturală sau artificială.

În domeniul securității informațiilor, Big Data se confruntă cu următoarele provocări:

— probleme de protecție a datelor și de asigurare a integrității acestora;
— riscul de interferență externă și scurgere de informații confidențiale;
— stocarea necorespunzătoare a informațiilor confidențiale;
— riscul pierderii de informații, de exemplu, din cauza acțiunilor rău intenționate ale cuiva;
— riscul utilizării greșite a datelor cu caracter personal de către terți etc.

Una dintre principalele probleme de date mari pe care blockchain-ul este conceput să le rezolve se află în zona securității informațiilor. Asigurând conformitatea cu toate principiile sale de bază, tehnologia registrului distribuit poate garanta integritatea și fiabilitatea datelor, iar din cauza absenței unui singur punct de eșec, blockchain face ca funcționarea sistemelor informaționale să fie stabilă. Tehnologia contabilă distribuită poate ajuta la rezolvarea problemei încrederii în date, precum și la activarea partajării universale a datelor.

Informația este un atu valoros, ceea ce înseamnă că asigurarea aspectelor de bază ale securității informațiilor trebuie să fie în prim-plan. Pentru a supraviețui concurenței, companiile trebuie să țină pasul cu vremurile, ceea ce înseamnă că nu pot ignora potențialele oportunități și avantaje pe care le conțin tehnologia blockchain și instrumentele Big Data.

16.07.18. Mail.ru a lansat Big Data as a Service

Platforma cloud Mail.ru a fost completată cu un serviciu de analiză a datelor mari, Cloud Big Data, care se bazează pe cadrele Apache Hadoop și Spark. Serviciul va fi util retailerilor și organizațiilor financiare care trebuie să analizeze date mari, dar nu doresc să cheltuiască mulți bani pe propriile servere. Mail.ru ia bani doar pentru timpul efectiv de funcționare al echipamentului. Astfel, un cluster Hadoop de 10 noduri va costa clientul 39 de ruble. pentru o oră de muncă. Să ne amintim că anul trecut MTS a lansat același serviciu BigData Cloud MTS. Costul utilizării serviciului a fost de la 5 mii de ruble. pe luna. De asemenea, sunt furnizate servicii de procesare a datelor mari.

2017. MTS a lansat o platformă cloud pentru procesarea Big Data

Operatorul MTS a lansat un serviciu de procesare în cloud a datelor mari pentru afaceri, ca parte a platformei sale cloud #CloudMTS. Companiile vor putea lucra cu date în mediile software Hadoop și Spark. De exemplu, acest serviciu cloud va ajuta companiile să vizeze publicitate, să colecteze și să proceseze date deschise și să efectueze analize financiare și de afaceri. Magazinele online vor putea să analizeze comportamentul clienților și apoi să ofere oferte țintite gata făcute pentru diverse evenimente și sărbători. Serviciul funcționează folosind instrumente de calcul preinstalate, dar este posibil să vă creați proprii algoritmi de procesare a datelor. Costul utilizării serviciului începe de la 5 mii de ruble pe lună, prețul variază în funcție de spațiul ocupat în cloud. Să vă reamintim că platforma #CloudMTS a fost creată în 2016. La început a oferit doar servicii de stocare în cloud, iar ulterior a adăugat și servicii de cloud computing.

2016. Prognoza Big Data pentru Jocurile Olimpice de la Rio

În curând, serviciile Big Data îți vor spune ce decizii să iei pentru a crește și a asigura securitatea afacerii tale. Deocamdată se antrenează în principal la evenimente sportive. Vă amintiți cum platforma inteligentă Microsoft a prezis recent rezultatele Campionatului European de Fotbal? Deci, ea nu a ghicit nimic corect. De data aceasta, compania americană Gracenote, specializată în procesarea datelor mari, a calculat cea mai probabilă variantă pentru clasamentul pentru medalii la Jocurile Olimpice de la Rio. Imaginea arată o prognoză care a fost întocmită cu o lună înainte de Jocurile Olimpice. Este actualizat constant. Versiune curentă - .

2016. Platforma inteligentă a Microsoft a prezis rezultatele Campionatului European de Fotbal

Microsoft (ca orice gigant IT care se respectă) are deja o platformă analitică bazată pe procesarea Big Data și inteligența artificială - Microsoft Cortana Intelligence Suite. Pe baza diferitelor date din sistemele dvs. de afaceri, poate prezice rata de pierdere a clienților, defecțiunile echipamentelor, modificările veniturilor etc. Și acum, Microsoft ne oferă posibilitatea de a verifica cât de precis funcționează această platformă. După ce a analizat istoricul fotbalului, informații statistice despre echipe, performanța jucătorilor, accidentări, precum și comentariile fanilor de pe rețelele de socializare, ea și-a prezentat prognoza pentru Campionatul European de Fotbal, care începe astăzi. Deci, conform prognozei: Germania va învinge Spania în finală cu o probabilitate de 66%. Și în meciul de deschidere, Franța va câștiga împotriva României cu o probabilitate de 71%.

2016. SAP și Yandex creează un serviciu Big Data pentru păstrarea clienților

În urmă cu 2 ani, Yandex a lansat un serviciu care oferă servicii de procesare a datelor mari pentru companii. Acest serviciu a ajutat deja companii precum Beeline și Wargaming (Word of Tanks) să evite retragerea clienților. Acesta prezice perioadele de retragere pe baza datelor istorice și oferă companiei oportunitatea de a pregăti și de a oferi o nouă promovare la timp. Acum, se pare, această tehnologie Yandex a atras interesul celui mai mare jucător din lume pe piața IT corporativă - SAP. Companiile și-au unit forțele pentru a dezvolta un serviciu care să prezică comportamentul clienților. Potrivit SAP și YDF, serviciul va fi utilizat în retail, comerț electronic, bănci și telecomunicații. Aceștia spun că serviciul va fi destinat întreprinderilor mijlocii, inclusiv prețul.

2016. Analizor PROMT - analizor morfologic Big Data

Compania PROMT a lansat PROMT Analyzer - o soluție în domeniul inteligenței artificiale pentru lucrul cu big data în sisteme informatice și analitice. Instrumentul este conceput pentru a căuta, extrage, rezuma și structura informații din aproape orice conținut text în diferite limbi, atât în sistemele corporative, cât și în surse externe. Analizează orice texte sau documente, identifică entități din acestea (persoane, organizații, denumiri geografice, entități geopolitice etc.), precum și determină acțiunile legate de aceste entități, data și locul acțiunii și formează o imagine holistică a documentul. PROMT Analyzer vă permite să rezolvați o varietate de sarcini: analiza resurselor interne ale companiei (sisteme de flux de documente), analiza resurselor externe (media, blogosferă etc.), analiza datelor obținute din surse închise pentru a evalua criticitatea situațiilor, analiza activității unui obiect cu referire la geografie și optimizarea motoarelor de căutare și optimizarea biroului de asistență.

2016. Mail.Ru va ajuta companiile să își analizeze datele

Mail.Ru se străduiește să țină pasul cu principalul său concurent, Yandex. Cu un an în urmă, serviciul de analiză a datelor mari Yandex pentru afaceri. Și acum Mail.ru a deschis o direcție Big Data pentru clienții corporativi. În primul rând, se va ocupa de proiecte care vizează îmbunătățirea eficienței proceselor de marketing și vânzări, optimizarea producției, logistica, managementul riscurilor, planificarea, managementul personalului și alte procese de lucru ale diverselor afaceri. De exemplu, Mail.ru va putea crea un model pentru prezicerea fluxului de clienți, răspunsul la oferte și prognozarea reacției la o contestație printr-un anumit canal de comunicare. Acest lucru va face ca interacțiunea cu un potențial client să fie mai personalizată. Mail.ru afirmă că compania analizează datele virtual de la înființare și are propriile tehnologii de învățare automată.

2015. IBM va deveni principalul furnizor de prognoze meteo pentru afaceri

Este vremea importantă pentru afaceri? Desigur, mai ales dacă afacerea ta este o întreprindere agricolă, o agenție de turism, o cafenea sau un magazin de îmbrăcăminte. Vremea afectează stabilitatea proviziilor, selecția sortimentelor și activitatea de vânzare. În acest caz, fiecare sistem de business intelligence care se respectă ar trebui să țină cont de prognoza meteo. Așa a gândit IBM și a cumpărat cel mai mare serviciu meteorologic din lume, The Weather Company. IBM intenționează să furnizeze date de la trei miliarde de puncte de referință de prognoză către supercomputerul său Watson și să revoluționeze prognoza meteo. Ei intenționează, de asemenea, să creeze o platformă care va permite aplicațiilor de afaceri terțe să folosească informațiile meteorologice contra cost.

2015. Video: Cum să folosiți Big Data pentru a atrage angajați talentați

Mai te îndoiești că Big Data este utilă pentru afaceri? Apoi, urmăriți acest videoclip despre modul în care Beeline atrage noi angajați talentați folosind Big Data. La începutul lunii septembrie, un Big Data Taxi sub forma unei mașini Tesla circula în jurul Moscovei. Potrivit unui reprezentant Beeline, pe lângă faptul că ajută la atragerea de noi talente, tehnologiile Big Data permit companiei să rezolve o varietate de probleme. Pornind de la cele simple și banale precum „găsește-i pe toți cei care folosesc un SIM achiziționat folosind pașaportul altcuiva” și terminând cu „determinați vârsta abonatului pe baza unui set de indicatori”.

2015. Microsoft a introdus o platformă Big Data vorbitoare

Tehnologiile Big Data promit companiilor optimizarea magică a proceselor de afaceri, de exemplu: veți avea întotdeauna cantitatea potrivită de bunuri la locul potrivit, la momentul potrivit. Dar acele companii care au încercat deja Big Data spun: în practică, nu funcționează. Sistemele Big Data existente sunt concepute pentru analiști, dar nu ajută angajatul obișnuit care trebuie să ia o decizie aici și acum. Prin urmare, Microsoft a decis să lanseze o platformă Big Data cu chip uman (mai precis, o voce) - Cortana Analytics Suite. Se bazează pe platforma cloud Azure și folosește asistentul vocal Cortana ca interfață. Se presupune că, cu ajutorul unui designer vizual, orice șef de departament va putea crea mini-aplicații care prelucrează cantități mari de date, iar orice angajat va putea să întrebe Cortana și să primească informațiile potrivite la momentul potrivit, în locul potrivit.

2015. Video: Ce este Big Data și cine are nevoie de ele?

Startup-ul rus CleverData este poziționat ca un integrator de Big Data. Ei implementează proiecte pentru a rezolva probleme specifice de afaceri folosind platforme și tehnologii Big Data. În videoclip, CEO-ul CleverData, Denis Afanasyev, vorbește interesant despre ce este Big Data și de unde provin aceste date mari. Se dovedește că tehnologiile de procesare a datelor mari există de zeci de ani, dar motivul apariției termenului de marketing Big Data este că (mulțumită cloud computing-ului) costul acestora a scăzut și au devenit accesibile companiilor mici-medii. Potrivit lui Denis, Big Data este cel mai des folosit pentru marketing (segmentarea bazei de clienți, publicitate online), securitate IT (detecția fraudei, predicția defecțiunilor) și managementul riscului (evaluarea bonității clienților).

2015. SAP a introdus Next Big Thing - sistemul ERP S/4HANA

Primul sistem SAP ERP se numea R/2 și rula pe mainframe. Apoi a fost R/3. În 2004, a apărut SAP Business Suite. Zilele trecute, SAP a prezentat (cum se spune) cel mai important produs din istoria sa - o nouă versiune a S4/HANA. Când l-au creat, dezvoltatorii nu s-au gândit la cum să-l depășească pe eternul competitor Oracle, ci la cum să nu fie depășiți de furnizorii agresivi de SaaS Salesforce și Workday. Prin urmare, S4 va putea funcționa atât local, cât și în cloud. Caracteristica principală a sistemului este viteza. După cum sugerează și numele, S4 se bazează pe platforma lider Big-Data SAP HANA, care vă permite să procesați date foarte mari în câteva secunde. A doua caracteristică principală este interfața. Uitați de mesele și meniurile complexe pe care nu le puteți înțelege fără o sticlă. SAP vrea ca noul sistem puternic să fie controlat folosind un smartphone. Puteți utiliza cel puțin 25 de aplicații SAP Fiori simple pentru a lucra cu SAP. Iată prezentarea lor video:

2014. Yandex a deschis un serviciu Big Data pentru afaceri

Yandex a lansat proiectul Yandex Data Factory, care va oferi companiilor servicii de procesare a datelor mari. Pentru a face acest lucru, folosește tehnologia de învățare automată Matrixnet, pe care Yandex a dezvoltat-o pentru a clasa site-urile în motorul său de căutare. Se afirmă că Yandex intenționează să devină un concurent pentru companii precum SAP AG și Microsoft. În acest moment, specialiștii Yandex Data Factory au implementat mai multe proiecte pilot cu companii europene. În special, inteligența artificială Yandex a fost folosită de o companie care deservește liniile electrice pentru a prezice defecțiuni, de o bancă pentru a viza debitorii și de o agenție de autostrăzi pentru a prezice blocajele de trafic. În plus, se dovedește că Yandex prelucrează datele obținute de la celebrul ciocnitor de hadron de la CERN.

2014. Microsoft va ajuta Real Madrid să câștige cu Big Data

Ei nu caută binele din bine. Real Madrid a jucat destul de bine în ultimul timp și a obținut rezultate bune. Cu toate acestea, laurii naționalei Germaniei, care a câștigat cu ajutor Cupa Mondială, îl bântuie pe președintele clubului madrilen, Florentino Perez (extrema stângă în fotografie). Prin urmare, a semnat un contract cu Microsoft de 30 de milioane de dolari, în cadrul căruia va fi creată o infrastructură IT modernă pentru club. Personalul de antrenor și jucătorii Real Madrid vor primi tablete Surface Pro 3 cu aplicații Office 365 preinstalate pentru o colaborare mai strânsă cu personalul. Și folosind instrumentele analitice ale Power BI pentru Office 365, antrenorii echipei vor putea studia performanța jucătorilor de fotbal, vor putea identifica tendințele pe termen lung și chiar să prezică accidentările.

2014. 1C-Bitrix a lansat serviciul Big Data

Big Data - tehnologii de prelucrare a unor volume foarte mari de date pentru a obține rezultate simple și utile pentru afaceri - este una dintre principalele noi tendințe de pe piața IT. Iar serviciul 1C-Bitrix BigData este poate primul serviciu intern bazat pe această tehnologie. Prima aplicație a acestei inteligențe artificiale va fi optimizarea (personalizarea) magazinelor online folosind motorul Bitrix pentru fiecare nou vizitator. Pe baza analizei unei cantități mari de date despre toți vizitatorii din trecut, serviciul va putea să prezică comportamentul unui nou vizitator pe site, să evidențieze clienți similari cu acesta și să îi facă oferte personalizate pe baza istoricului de achiziții al altor persoane. Clienți. Probabil, ne putem aștepta în curând la funcții Big Data în sistemul de management al afacerii Bitrix24.

2014. SAP: Echipa germană a câștigat Cupa Mondială datorită Big Data

Recent, anul trecut, iahtul Oracle a câștigat Cupa Americii, iar apoi Oracle a spus că această victorie s-a datorat în mare măsură sistemului de analiză Big Data din cloud Oracle. Acum a sosit momentul ca eternul concurent al Oracle, compania germană SAP, să răspundă acestei mișcări de PR. S-a dovedit că echipa germană a câștigat Cupa Mondială și datorită Big Data. SAP a dezvoltat un sistem Match Insights care citește un meci de fotbal într-un model digital tridimensional și analizează acțiunile fiecărui jucător și ale echipei în ansamblu. Au fost analizate nu doar meciurile propriei echipe (pentru corectarea erorilor și îmbunătățirea eficienței), ci și meciurile concurenților. Inteligența artificială a găsit punctele slabe ale adversarilor și a ajutat echipa să se pregătească pentru meci. Morala poveștii este: Imaginează-ți ce pot face Big Data pentru afacerea ta.

2014. CROC a lansat o soluție de Business Intelligence bazată pe cloud

Integratorul de sisteme Croc a lansat un serviciu de business intelligence cu numele explicit „Business Intelligence as a Service” sau BIaaS. Soluția este concepută pentru organizațiile mari interesate să reducă costurile de capital și să accelereze deciziile de management. Sistemul este construit pe produsul EMC Greenplum și este o soluție la nivel de Big Data. Folosind acest instrument, puteți analiza și compara volume mari de informații, construi indicatori cheie și luați decizii de afaceri, ocolind etapa cheltuielilor de capital pentru achiziționarea de software, licențe și posibilă modernizare a infrastructurii. Soluția vă permite să implementați trei scenarii posibile pentru lucrul cu date - analiză pentru retail, analiza indicatorilor de performanță a centrului de contact, precum și evaluarea activităților de management ale organizației pentru conformitatea cu KPI-urile.

2013. SAP eficientizează marile afaceri cu Big Data. Concurenții plâng

În ultimii ani, SAP s-a dovedit a fi cea mai puțin inovatoare companie IT (în comparație cu concurenții Oracle, Microsoft, IBM). Toate proiectele inovatoare ale SAP au eșuat în mare parte (rețineți), și singurul lucru pe care SAP a reușit să-l facă a fost să cumpere alte companii (SuccessFactors, SyBase, Ariba). Dar de data aceasta SAP pare să fi decis să-și eclipseze concurenții. Și va face acest lucru folosind noua tehnologie la modă Big Data. Ce este?

Ce s-a întâmplat Date mare(literalmente - Date mare)? Să ne uităm mai întâi la dicționarul Oxford:

Date- cantități, semne sau simboluri pe care le operează un calculator și care pot fi stocate și transmise sub formă de semnale electrice, înregistrate pe suporturi magnetice, optice sau mecanice.

Termen Date mare folosit pentru a descrie un set mare de date care crește exponențial în timp. Pentru a procesa o asemenea cantitate de date, nu te poți lipsi.

Beneficiile pe care le oferă Big Data:

Colectarea datelor din diverse surse.
Îmbunătățirea proceselor de afaceri prin analize în timp real.
Stocarea unor cantități uriașe de date.
Perspective. Big Data este mai perspicace în informațiile ascunse prin date structurate și semi-structurate.
Big Data vă ajută să reduceți riscurile și să luați decizii inteligente cu analiza de risc adecvată

Exemple de date mari

Bursa de Valori din New York generează zilnic 1 terabyte datele de tranzacționare pentru sesiunea trecută.

Rețelele de socializare: Statisticile arată că bazele de date Facebook sunt încărcate în fiecare zi. 500 terabytes date noi sunt generate în principal din cauza încărcării fotografiilor și videoclipurilor pe serverele rețelelor sociale, a mesajelor, a comentariilor sub postări și așa mai departe.

Motor turboreactor generează 10 terabytes date la fiecare 30 de minute în timpul zborului. Deoarece mii de zboruri sunt efectuate în fiecare zi, volumul de date ajunge la petabytes.

Clasificarea Big Data

Formulare de date mari:

Structurat
Nestructurat
Semi-structurat

Forma structurata

Datele care pot fi stocate, accesate și prelucrate într-o formă cu format fix se numesc structurate. De-a lungul timpului, informatica a făcut progrese mari în îmbunătățirea tehnicilor de lucru cu acest tip de date (unde formatul este cunoscut dinainte) și a învățat cum să beneficieze de el. Cu toate acestea, astăzi există deja probleme asociate cu creșterea volumelor la dimensiuni măsurate în intervalul mai multor zettabytes.

1 zettabyte este egal cu un miliard de terabytes

Privind aceste cifre, nu este dificil să verificăm veridicitatea termenului Big Data și dificultățile asociate cu procesarea și stocarea unor astfel de date.

Datele stocate într-o bază de date relațională sunt structurate și arată ca, de exemplu, tabele ale angajaților companiei

Formă nestructurată

Datele cu structură necunoscută sunt clasificate ca nestructurate. Pe lângă dimensiunile mari, această formă se caracterizează printr-o serie de dificultăți în procesarea și extragerea informațiilor utile. Un exemplu tipic de date nestructurate este o sursă eterogenă care conține o combinație de fișiere text simple, imagini și videoclipuri. Astăzi, organizațiile au acces la cantități mari de date brute sau nestructurate, dar nu știu cum să extragă valoare din acestea.

Formă semistructurată

Această categorie conține ambele dintre cele descrise mai sus, astfel încât datele semi-structurate au o anumită formă, dar nu sunt definite de fapt de tabelele din bazele de date relaționale. Un exemplu al acestei categorii sunt datele personale prezentate într-un fișier XML.

Prashant RaoMasculin35 Seema R.Femeie41 Satish ManeMasculin29 Subrato RoyMasculin26 Ieremia J.Masculin35

Caracteristicile Big Data

Creșterea Big Data în timp:

Culoarea albastră reprezintă datele structurate (date Enterprise), care sunt stocate în baze de date relaționale. Alte culori indică date nestructurate din diverse surse (telefonie IP, dispozitive și senzori, rețele sociale și aplicații web).

Potrivit Gartner, Big Data variază în ceea ce privește volumul, rata de generare, varietate și variabilitate. Să aruncăm o privire mai atentă asupra acestor caracteristici.

Volum. Termenul Big Data în sine este asociat cu dimensiunea mare. Dimensiunea datelor este cea mai importantă măsură în determinarea valorii potențiale de extras. În fiecare zi, 6 milioane de oameni folosesc media digitală, generând aproximativ 2,5 trilioane de octeți de date. Prin urmare, volumul este prima caracteristică de luat în considerare.
Diversitate- următorul aspect. Se referă la surse eterogene și la natura datelor, care pot fi fie structurate, fie nestructurate. Anterior, foile de calcul și bazele de date erau singurele surse de informații luate în considerare în majoritatea aplicațiilor. Astăzi, datele sub formă de e-mailuri, fotografii, videoclipuri, fișiere PDF și audio sunt, de asemenea, luate în considerare în aplicațiile analitice. Această varietate de date nestructurate duce la probleme în stocare, extragere și analiză: 27% dintre companii nu sunt sigure că lucrează cu datele potrivite.
Viteza de generare. Cât de repede sunt acumulate și procesate datele pentru a îndeplini cerințele determină potențialul. Viteza determină viteza fluxului de informații din surse - procese de afaceri, jurnalele de aplicații, rețele sociale și site-uri media, senzori, dispozitive mobile. Fluxul de date este imens și continuu în timp.
Variabilitate descrie variabilitatea datelor în anumite momente în timp, ceea ce complică procesarea și gestionarea. De exemplu, majoritatea datelor sunt de natură nestructurată.

Analiza Big Data: care sunt beneficiile big data

Promovarea bunurilor si serviciilor: Accesul la date din motoarele de căutare și site-uri precum Facebook și Twitter permite companiilor să dezvolte mai precis strategii de marketing.

Îmbunătățirea serviciului pentru clienți: Sistemele tradiționale de feedback ale clienților sunt înlocuite cu altele noi care utilizează Big Data și Procesarea limbajului natural pentru a citi și evalua feedback-ul clienților.

Calculul riscului asociate cu lansarea unui nou produs sau serviciu.

Eficienta operationala: big data este structurat pentru a extrage rapid informațiile necesare și a produce rapid rezultate precise. Această combinație de Big Data și tehnologii de stocare ajută organizațiile să își optimizeze munca cu informații rar utilizate.

Big data (sau Big Data) este un set de metode de lucru cu volume uriașe de informații structurate sau nestructurate. Specialiștii în big data le procesează și analizează pentru a obține rezultate vizuale, perceptibile de om. Look At Me a discutat cu profesioniști și a aflat care este situația cu procesarea datelor mari în Rusia, unde și ce este cel mai bine de studiat pentru cei care doresc să lucreze în acest domeniu.

Alexey Ryvkin despre principalele tendințe în domeniul big data, comunicarea cu clienții și lumea numerelor

Am studiat la Institutul de Tehnologie Electronică din Moscova. Principalul lucru pe care am reușit să-l iau de acolo au fost cunoștințele fundamentale în fizică și matematică. Concomitent cu studiile, am lucrat la centrul de cercetare și dezvoltare, unde am fost implicat în dezvoltarea și implementarea algoritmilor de codare rezistenți la zgomot pentru transmiterea securizată a datelor. După ce am terminat licența, am intrat la programul de master în informatică de afaceri la Școala Superioară de Științe Economice. După aceea am vrut să lucrez la IBS. Am avut noroc că la vremea aceea, datorită unui număr mare de proiecte, a existat o recrutare suplimentară de stagiari, iar după mai multe interviuri am început să lucrez la IBS, una dintre cele mai mari companii rusești în acest domeniu. În trei ani, am trecut de la stagiar la arhitect de soluții pentru întreprinderi. În prezent, dezvolt expertiză în tehnologiile Big Data pentru companii clienți din sectorul financiar și al telecomunicațiilor.

Există două specializări principale pentru persoanele care doresc să lucreze cu big data: analiștii și consultanții IT care creează tehnologii pentru a lucra cu big data. În plus, putem vorbi și despre profesia de Big Data Analyst, adică oameni care lucrează direct cu date, cu platforma IT a clientului. Anterior, aceștia erau analiști matematici obișnuiți care cunoșteau statistică și matematică și foloseau software statistic pentru a rezolva problemele de analiză a datelor. Astăzi, pe lângă cunoștințele de statistică și matematică, este necesară și înțelegerea tehnologiei și a ciclului de viață al datelor. Aceasta, după părerea mea, este diferența dintre analiștii de date moderni și acei analiști care au venit înainte.

Specializarea mea este consultanta IT, adica vin si ofer clientilor modalitati de rezolvare a problemelor de business folosind tehnologii IT. La consultanță vin persoane cu experiențe diferite, dar cele mai importante calități pentru această profesie sunt capacitatea de a înțelege nevoile clientului, dorința de a ajuta oamenii și organizațiile, bunele abilități de comunicare și echipă (deoarece se lucrează mereu cu clientul și într-o echipă), bune abilități analitice. Motivația internă este foarte importantă: lucrăm într-un mediu competitiv, iar clientul așteaptă soluții neobișnuite și interes pentru muncă.

Cea mai mare parte a timpului meu o petrec comunicând cu clienții, formalizându-le nevoile de afaceri și ajutându-i să dezvolte cea mai potrivită arhitectură tehnologică. Criteriile de selecție aici au propria lor particularitate: pe lângă funcționalitate și TCO (costul total de proprietate), cerințele nefuncționale pentru sistem sunt foarte importante, cel mai adesea acestea sunt timpul de răspuns și timpul de procesare a informațiilor. Pentru a convinge clientul, folosim adesea o abordare a dovadă a conceptului - oferim să „testăm” tehnologia gratuit pe o anumită sarcină, pe un set restrâns de date, pentru a ne asigura că tehnologia funcționează. Soluția ar trebui să creeze un avantaj competitiv pentru client prin obținerea de beneficii suplimentare (de exemplu, vânzări x, vânzări încrucișate) sau să rezolve un fel de problemă de afaceri, să zicem, să reducă nivelul ridicat de fraudă a creditelor.

Ar fi mult mai ușor dacă clienții ar veni cu o sarcină gata făcută, dar până acum nu înțeleg că a apărut o tehnologie revoluționară care poate schimba piața în câțiva ani

Cu ce probleme te confrunți? Piața nu este încă pregătită să folosească tehnologiile de date mari. Ar fi mult mai ușor dacă clienții ar veni cu o sarcină gata făcută, dar până acum nu înțeleg că a apărut o tehnologie revoluționară care poate schimba piața în câțiva ani. Acesta este motivul pentru care lucrăm în esență în modul de pornire - nu vindem doar tehnologii, ci de fiecare dată convingem clienții că trebuie să investească în aceste soluții. Aceasta este poziția vizionarilor - le arătăm clienților cum își pot schimba afacerea folosind date și IT. Creăm această nouă piață - piața de consultanță IT comercială în domeniul Big Data.

Dacă o persoană dorește să se angajeze în analiza datelor sau consultanță IT în domeniul Big Data, atunci primul lucru important este o educație matematică sau tehnică cu o bună pregătire matematică. De asemenea, este util să stăpânești tehnologii specifice, de exemplu SAS, Hadoop, limbajul R sau soluții IBM. În plus, trebuie să fii interesat în mod activ de aplicațiile pentru Big Data - de exemplu, cum pot fi utilizate pentru a îmbunătăți scorul de credit într-o bancă sau pentru managementul ciclului de viață al clienților. Aceasta și alte cunoștințe pot fi obținute din surse disponibile: de exemplu, Coursera și Big Data University. Există, de asemenea, Customer Analytics Initiative de la Universitatea Wharton din Pennsylvania, unde au fost publicate o mulțime de materiale interesante.

O problemă majoră pentru cei care doresc să lucreze în domeniul nostru este lipsa clară de informații despre Big Data. Nu poți să mergi la o librărie sau un site web și să obții, de exemplu, o colecție cuprinzătoare de cazuri despre toate aplicațiile tehnologiilor Big Data în bănci. Nu există astfel de directoare. O parte din informații se află în cărți, altele sunt culese la conferințe, iar altele trebuie să-ți dai seama singur.

O altă problemă este că analiștii se simt confortabil în lumea numerelor, dar nu sunt întotdeauna confortabili în afaceri. Acești oameni sunt adesea introvertiți și au dificultăți în comunicare, ceea ce le face dificil să comunice concluziile cercetării în mod convingător clienților. Pentru a dezvolta aceste abilități, aș recomanda cărți precum Principiul piramidei, Vorbiți limbajul diagramelor. Ele ajută la dezvoltarea abilităților de prezentare și la exprimarea concis și clar a gândurilor.

Participarea la diverse campionate de caz în timp ce studiam la Școala Superioară de Economie a Universității Naționale de Cercetare m-a ajutat foarte mult. Campionatele de caz sunt competiții intelectuale pentru studenți în care trebuie să studieze problemele de afaceri și să le propună soluții. Există două tipuri: campionate de caz ale firmelor de consultanță, de exemplu, McKinsey, BCG, Accenture, precum și campionate de caz independente, cum ar fi Changellenge. În timpul participării la acestea, am învățat să văd și să rezolv probleme complexe - de la identificarea unei probleme și structurarea acesteia până la apărarea recomandărilor pentru soluționarea acesteia.

Oleg Mikhalsky despre piața rusă și specificul creării unui nou produs în domeniul big data

Înainte de a mă alătura Acronis, eram deja implicat în lansarea de noi produse pe piață la alte companii. Este întotdeauna interesant și provocator în același timp, așa că am fost imediat interesat de oportunitatea de a lucra la servicii cloud și soluții de stocare a datelor. Toată experiența mea anterioară în industria IT, inclusiv propriul meu proiect de pornire I-accelerator, a fost utilă în acest domeniu. A ajutat, de asemenea, să ai o educație în afaceri (MBA) pe lângă o diplomă de bază de inginerie.

În Rusia, marile companii - bănci, operatori de telefonie mobilă etc. - au nevoie de analiză de big data, așa că la noi există perspective pentru cei care vor să lucreze în acest domeniu. Adevărat, multe proiecte acum sunt proiecte de integrare, adică realizate pe baza dezvoltărilor străine sau a tehnologiilor open source. În astfel de proiecte, nu sunt create abordări și tehnologii fundamental noi, ci mai degrabă sunt adaptate dezvoltările existente. La Acronis, am luat o altă cale și, după ce am analizat alternativele disponibile, am decis să investim în propria noastră dezvoltare, rezultând un sistem de stocare fiabil pentru big data, care nu este mai scăzut ca cost, de exemplu, Amazon S3, dar funcționează fiabil. și eficient și la o scară semnificativ mai mică. Companiile mari de internet au, de asemenea, propriile evoluții în ceea ce privește datele mari, dar se concentrează mai mult pe nevoile interne decât pe nevoile clienților externi.

Este important să înțelegem tendințele și forțele economice care influențează domeniul big data. Pentru a face acest lucru, trebuie să citiți mult, să ascultați discursurile experților autorizați din industria IT și să participați la conferințe tematice. Acum aproape fiecare conferință are o secțiune despre Big Data, dar toți vorbesc despre asta dintr-un unghi diferit: din punct de vedere al tehnologiei, al afacerii sau al marketingului. Puteți merge pentru lucru pe proiect sau pentru un stagiu la o companie care conduce deja proiecte pe acest subiect. Dacă ești încrezător în abilitățile tale, atunci nu este prea târziu să organizezi un startup în domeniul Big Data.

Fără contact constant cu piața noua dezvoltare riscă să fie nerevendicată

Adevărat, atunci când sunteți responsabil pentru un produs nou, se alocă mult timp analizei pieței și comunicării cu potențiali clienți, parteneri și analiști profesioniști care știu multe despre clienți și nevoile acestora. Fără contact constant cu piața, o nouă dezvoltare riscă să fie nerevendicată. Există întotdeauna o mulțime de incertitudini: trebuie să vă dați seama cine vor fi primii care vor adopta, ce aveți de oferit și cum să atrageți apoi un public în masă. A doua cea mai importantă sarcină este de a formula și transmite dezvoltatorilor o viziune clară și holistică asupra produsului final pentru a-i motiva să lucreze în astfel de condiții când unele cerințe se mai pot schimba, iar prioritățile depind de feedback-ul venit de la primii clienți. Prin urmare, o sarcină importantă este gestionarea așteptărilor clienților, pe de o parte, și dezvoltatorilor, pe de altă parte. Pentru ca nici unul, nici celălalt să nu-și piardă interesul și să ducă proiectul la final. După primul proiect de succes, devine mai ușor și principala provocare va fi găsirea modelului de creștere potrivit pentru noua afacere.

Pe baza materialelor din cercetare și tendințe

Big Data este discutat în presa IT și de marketing de câțiva ani. Și este clar: tehnologiile digitale au pătruns în viața omului modern, „totul este scris”. Volumul de date despre diverse aspecte ale vieții este în creștere și, în același timp, crește posibilitățile de stocare a informațiilor.

Tehnologii globale pentru stocarea informațiilor

Sursa: Hilbert și Lopez, „Capacitatea tehnologică a lumii de a stoca, comunica și calcula informații”, Science, 2011 Global.

Majoritatea experților sunt de acord că accelerarea creșterii datelor este o realitate obiectivă. Rețelele sociale, dispozitivele mobile, datele de la aparatele de măsurare, informațiile de afaceri - acestea sunt doar câteva tipuri de surse care pot genera volume gigantice de informații. Conform studiului IDCUniversul digital, publicat în 2012, în următorii 8 ani cantitatea de date din lume va ajunge la 40 ZB (zettabytes), ceea ce echivalează cu 5200 GB pentru fiecare locuitor al planetei.

Creșterea colectării de informații digitale în SUA

Sursa: IDC

O mare parte din informații sunt create nu de oameni, ci de roboți care interacționează atât între ei, cât și cu alte rețele de date, cum ar fi senzorii și dispozitivele inteligente. La acest ritm de creștere, cantitatea de date din lume, potrivit cercetătorilor, se va dubla în fiecare an. Numărul de servere virtuale și fizice din lume va crește de zece ori datorită extinderii și creării de noi centre de date. Ca urmare, există o nevoie din ce în ce mai mare de a utiliza și de a genera bani în mod eficient aceste date. Deoarece utilizarea Big Data în afaceri necesită investiții considerabile, trebuie să înțelegeți clar situația. Și este, în esență, simplu: poți crește eficiența afacerii prin reducerea costurilor și/sau creșterea volumului vânzărilor.

De ce avem nevoie de Big Data?

Paradigma Big Data definește trei tipuri principale de probleme.

Stocarea și gestionarea sutelor de terabytes sau petabytes de date pe care bazele de date relaționale convenționale nu le pot utiliza în mod eficient.
Organizați informații nestructurate constând în texte, imagini, videoclipuri și alte tipuri de date.
Analiza Big Data, care ridică problema modalităților de lucru cu informații nestructurate, generarea de rapoarte analitice, precum și implementarea modelelor predictive.

Piața proiectelor Big Data se intersectează cu piața de business analytics (BA), al cărei volum global, conform experților, se ridica la aproximativ 100 de miliarde de dolari în 2012. Include componente ale tehnologiei de rețea, servere, software și servicii tehnice.

De asemenea, utilizarea tehnologiilor Big Data este relevantă pentru soluțiile de clasă de asigurare a veniturilor (RA) menite să automatizeze activitățile companiilor. Sistemele moderne de garantare a veniturilor includ instrumente de detectare a inconsecvențelor și analiză aprofundată a datelor, permițând detectarea în timp util a posibilelor pierderi sau distorsiuni ale informațiilor care ar putea duce la scăderea rezultatelor financiare. Pe acest fond, companiile rusești, confirmând prezența cererii de tehnologii Big Data pe piața internă, observă că factorii care stimulează dezvoltarea Big Data în Rusia sunt creșterea datelor, accelerarea procesului decizional de management și îmbunătățirea calității acestora.

Ce vă împiedică să lucrați cu Big Data

Astăzi, doar 0,5% din datele digitale acumulate sunt analizate, în ciuda faptului că există în mod obiectiv probleme la nivel de industrie care ar putea fi rezolvate folosind soluții analitice de clasă Big Data. Piețele IT dezvoltate au deja rezultate care pot fi folosite pentru a evalua așteptările asociate cu acumularea și procesarea datelor mari.

Unul dintre principalii factori care încetinește implementarea proiectelor Big Data, pe lângă costul ridicat, este luat în considerare problema selectării datelor prelucrate: adică determinarea datelor care trebuie preluate, stocate și analizate și care ar trebui ignorate.

Mulți reprezentanți ai afacerilor notează că dificultățile în implementarea proiectelor Big Data sunt asociate cu o lipsă de specialiști - marketeri și analiști. Viteza rentabilității investiției în Big Data depinde direct de calitatea muncii angajaților implicați în analize aprofundate și predictive. Potențialul enorm al datelor deja existente într-o organizație nu poate fi utilizat în mod eficient de către specialiști înșiși din cauza proceselor de afaceri învechite sau a reglementărilor interne. Prin urmare, proiectele Big Data sunt adesea percepute de companii ca fiind dificile nu numai de implementat, ci și de evaluarea rezultatelor: valoarea datelor colectate. Natura specifică a lucrului cu date impune specialiștilor de marketing și analiștilor să-și schimbe atenția de la tehnologie și crearea de rapoarte la rezolvarea unor probleme specifice de afaceri.

Datorită volumului mare și vitezei mari a fluxului de date, procesul de colectare a datelor implică proceduri ETL în timp real. Pentru trimitere:ETL – de laEnglezăExtrage, Transforma, Sarcină- literalmente „extragerea, transformarea, încărcarea”) - unul dintre procesele principale în management depozite de date, care include: extragerea datelor din surse externe, transformarea acestora și curatenie pentru satisfacerea nevoilor ETL ar trebui privit nu numai ca un proces de mutare a datelor de la o aplicație la alta, ci și ca un instrument de pregătire a datelor pentru analiză.

Și atunci problemele de asigurare a securității datelor care provin din surse externe trebuie să aibă soluții care să corespundă volumului de informații cules. Deoarece metodele de analiză Big Data se dezvoltă doar în urma creșterii volumului de date, capacitatea platformelor analitice de a utiliza noi metode de pregătire și agregare a datelor joacă un rol important. Acest lucru sugerează că, de exemplu, datele despre potențialii cumpărători sau un depozit masiv de date cu istoricul clicurilor pe site-urile de cumpărături online pot fi de interes pentru rezolvarea diferitelor probleme.

Dificultățile nu se opresc

În ciuda tuturor dificultăților cu implementarea Big Data, afacerea intenționează să crească investițiile în acest domeniu. După cum reiese din datele Gartner, în 2013, 64% dintre cele mai mari companii din lume au investit deja sau au planuri să investească în implementarea tehnologiilor Big Data pentru afacerile lor, în timp ce în 2012 erau 58%. Potrivit cercetărilor Gartner, liderii industriilor care investesc în Big Data sunt companiile media, companiile de telecomunicații, companiile bancare și de servicii. Rezultate de succes din implementarea Big Data au fost deja obținute de mulți jucători importanți din industria de retail în ceea ce privește utilizarea datelor obținute cu ajutorul instrumentelor de identificare prin frecvență radio, a sistemelor de logistică și de relocare. reaprovizionare- acumulare, reaprovizionare - R&T), precum și din programele de loialitate. Experiența de succes în retail încurajează alte sectoare de piață să găsească noi modalități eficiente de a monetiza datele mari pentru a-și transforma analiza într-o resursă care funcționează pentru dezvoltarea afacerii. Datorită acestui fapt, potrivit experților, în perioada până în 2020, investițiile în management și stocare vor scădea per gigabyte de date de la 2 USD la 0,2 USD, dar pentru studiul și analiza proprietăților tehnologice ale Big Data vor crește cu doar 40%.

Costurile prezentate în diverse proiecte de investiții în domeniul Big Data sunt de altă natură. Elementele de cost depind de tipurile de produse care sunt selectate pe baza anumitor decizii. Cea mai mare parte a costurilor în proiectele de investiții, potrivit experților, revine produselor legate de colectarea, structurarea datelor, curățarea și managementul informațiilor.

Cum se face

Există multe combinații de software și hardware care vă permit să creați soluții eficiente de Big Data pentru diverse discipline de afaceri: de la social media și aplicații mobile, până la analiza și vizualizarea inteligentă a datelor de afaceri. Un avantaj important al Big Data este compatibilitatea noilor instrumente cu bazele de date utilizate pe scară largă în afaceri, ceea ce este deosebit de important atunci când lucrați cu proiecte interdisciplinare, cum ar fi organizarea de vânzări pe mai multe canale și asistența clienților.

Secvența de lucru cu Big Data constă în colectarea datelor, structurarea informațiilor primite folosind rapoarte și tablouri de bord, crearea de perspective și contexte și formularea de recomandări de acțiune. Deoarece lucrul cu Big Data implică costuri mari pentru colectarea datelor, rezultatul prelucrării cărora nu este cunoscut în prealabil, sarcina principală este să înțelegem clar pentru ce sunt datele și nu cât de mult sunt disponibile. În acest caz, colectarea datelor se transformă într-un proces de obținere a informațiilor exclusiv necesare pentru rezolvarea unor probleme specifice.

De exemplu, furnizorii de telecomunicații agregează o cantitate imensă de date, inclusiv date de geolocalizare, care sunt actualizate în mod constant. Aceste informații pot fi de interes comercial pentru agențiile de publicitate, care le pot folosi pentru a oferi publicitate țintită și locală, precum și pentru comercianții cu amănuntul și băncile. Astfel de date pot juca un rol important atunci când decideți să deschideți un punct de vânzare cu amănuntul într-o anumită locație, pe baza datelor despre prezența unui flux puternic de persoane vizate. Există un exemplu de măsurare a eficienței reclamei pe panouri publicitare în aer liber în Londra. Acum, acoperirea unei astfel de reclame poate fi măsurată doar prin plasarea oamenilor în apropierea structurilor publicitare cu un dispozitiv special care numără trecătorii. Față de acest tip de măsurare a eficienței publicității, operatorul de telefonie mobilă are mult mai multe oportunități - știe exact locația abonaților săi, cunoaște caracteristicile demografice ale acestora, sexul, vârsta, starea civilă etc.

Pe baza unor astfel de date, în viitor există perspectiva modificării conținutului mesajului publicitar, folosind preferințele unei anumite persoane care trece pe lângă panoul publicitar. Dacă datele arată că o persoană care trece pe acolo călătorește mult, atunci i s-ar putea afișa o reclamă pentru o stațiune. Organizatorii unui meci de fotbal nu pot decât să estimeze numărul de suporteri atunci când vin la meci. Dar dacă ar putea cere furnizorului lor de telefonie mobilă informații despre locul în care se aflau vizitatorii cu o oră, o zi sau o lună înainte de un meci, ar oferi organizatorilor posibilitatea de a planifica spoturi publicitare pentru meciurile viitoare.

Un alt exemplu este modul în care băncile pot folosi Big Data pentru a preveni frauda. În cazul în care clientul raportează pierderea cardului, iar la efectuarea unei achiziții cu acesta, banca vede în timp real locația telefonului clientului în zona de cumpărare în care are loc tranzacția, banca poate verifica informațiile din aplicația clientului. să vadă dacă încerca să-l înşele. Sau invers, când un client face o achiziție într-un magazin, banca vede că cardul utilizat pentru tranzacție și telefonul clientului sunt în același loc, banca poate concluziona că deținătorul cardului îl folosește. Datorită acestor beneficii ale Big Data, granițele depozitelor tradiționale de date sunt extinse.

Pentru a lua cu succes o decizie de implementare a soluțiilor Big Data, o companie trebuie să calculeze un caz de investiție, iar acest lucru provoacă mari dificultăți din cauza multor componente necunoscute. Paradoxul analizei în astfel de cazuri este prezicerea viitorului pe baza trecutului, date despre care adesea lipsesc. În acest caz, un factor important este planificarea clară a acțiunilor tale inițiale:

În primul rând, este necesar să se determine o problemă specifică de business pentru care vor fi utilizate tehnologiile Big Data, această sarcină va deveni nucleul determinării corectitudinii conceptului ales. Trebuie să vă concentrați pe colectarea de date legate de această sarcină specifică, iar în timpul probei conceptului, puteți utiliza diverse instrumente, procese și tehnici de management care vă vor permite să luați decizii mai informate în viitor.
În al doilea rând, este puțin probabil ca o companie fără abilități și experiență de analiză a datelor să poată implementa cu succes un proiect Big Data. Cunoștințele necesare provin întotdeauna din experiența anterioară în analiză, care este principalul factor care influențează calitatea lucrului cu date. Cultura datelor este importantă, deoarece de multe ori analiza datelor dezvăluie adevăruri dure despre o afacere și este nevoie de practici de date pentru a accepta și a lucra cu acele adevăruri.
În al treilea rând, valoarea tehnologiilor Big Data constă în furnizarea de perspective. Aceștia sunt de obicei numiți specialiști care au o înțelegere profundă a semnificației comerciale a datelor și știu să le folosească corect. Analiza datelor este un mijloc de a atinge obiectivele de afaceri, iar pentru a înțelege valoarea Big Data, trebuie să vă comportați în consecință și să vă înțelegeți acțiunile. În acest caz, big data va oferi o mulțime de informații utile despre consumatori, pe baza cărora se pot lua decizii utile pentru afaceri.

În ciuda faptului că piața Big Data din Rusia abia începe să prindă contur, proiectele individuale în acest domeniu sunt deja implementate cu destul de mult succes. Unele dintre ele au succes în domeniul colectării datelor, cum ar fi proiecte pentru Serviciul Federal de Taxe și Tinkoff Credit Systems Bank, altele - în ceea ce privește analiza datelor și aplicarea practică a rezultatelor sale: acesta este proiectul Synqera.

Tinkoff Credit Systems Bank a implementat un proiect de implementare a platformei EMC2 Greenplum, care este un instrument de calcul masiv paralel. În ultimii ani, banca a crescut cerințele pentru viteza de procesare a informațiilor acumulate și de analiză a datelor în timp real, cauzate de rata mare de creștere a numărului de utilizatori de carduri de credit. Banca a anunțat planuri de extindere a utilizării tehnologiilor Big Data, în special pentru procesarea datelor nestructurate și lucrul cu informații corporative primite din diverse surse.

Serviciul Federal de Taxe din Rusia creează în prezent un strat analitic pentru depozitul federal de date. Pe baza acestuia se creează un spațiu informațional unificat și o tehnologie de accesare a datelor fiscale pentru prelucrarea statistică și analitică. Pe parcursul implementării proiectului, se lucrează la centralizarea informațiilor analitice din peste 1.200 de surse la nivel local al Serviciului Fiscal Federal.

Un alt exemplu interesant de analiză a datelor mari în timp real este startup-ul rus Synqera, care a dezvoltat platforma Simplate. Soluția se bazează pe procesarea unor cantități mari de date, programul analizează informații despre clienți, istoricul lor de achiziții, vârsta, sexul și chiar starea de spirit. Ecrane tactile cu senzori care recunosc emoțiile clienților au fost instalate la casele dintr-un lanț de magazine de cosmetice. Programul determină starea de spirit a unei persoane, analizează informații despre ea, determină ora din zi și scanează baza de date a reducerilor magazinului, după care trimite cumpărătorului mesaje direcționate despre promoții și oferte speciale. Această soluție crește loialitatea clienților și crește vânzările retailerilor.

Dacă vorbim de cazuri de succes din străinătate, atunci este interesantă în acest sens experiența utilizării tehnologiilor Big Data în compania Dunkin`Donuts, care folosește date în timp real pentru a vinde produse. Afișajele digitale din magazine afișează oferte care se modifică în fiecare minut, în funcție de ora din zi și de disponibilitatea produsului. Folosind chitanțele de numerar, compania primește date despre ofertele care au primit cel mai mare răspuns de la clienți. Această abordare de prelucrare a datelor ne-a permis să creștem profiturile și cifra de afaceri a mărfurilor din depozit.

După cum arată experiența implementării proiectelor Big Data, această zonă este concepută pentru a rezolva cu succes problemele de afaceri moderne. În același timp, un factor important în atingerea obiectivelor comerciale atunci când se lucrează cu Big Data este alegerea strategiei potrivite, care include analize care identifică nevoile consumatorilor, precum și utilizarea tehnologiilor inovatoare în domeniul Big Data.

Potrivit unui sondaj global realizat anual de Econsultancy și Adobe din 2012 în rândul agenților de marketing corporativ, „big data” care caracterizează acțiunile oamenilor pe internet pot face multe. Aceștia pot optimiza procesele de afaceri offline, pot ajuta la înțelegerea modului în care proprietarii de dispozitive mobile le folosesc pentru a căuta informații sau pur și simplu „îmbunătățesc marketingul”, de exemplu. mai eficient. Mai mult, această din urmă funcție devine din ce în ce mai populară de la an la an, după cum reiese din diagrama pe care am prezentat-o.

Principalele domenii de activitate ale agenților de marketing pe Internet în ceea ce privește relațiile cu clienții

Sursă: Econsultancy și Adobe, publicate– emarketer.com

Rețineți că naționalitatea respondenților nu contează prea mult. După cum arată un sondaj realizat de KPMG în 2013, ponderea „optimiștilor”, adică. cei care folosesc Big Data atunci când elaborează o strategie de afaceri este de 56%, iar variațiile de la o regiune la alta sunt mici: de la 63% în țările din America de Nord la 50% în EMEA.

Utilizarea Big Data în diferite regiuni ale lumii

Sursă: KPMG, publicat– emarketer.com

Între timp, atitudinea marketerilor față de astfel de „tendințe de modă” amintește oarecum de o glumă binecunoscută:

Spune-mi, Vano, îți plac roșiile?
- Îmi place să mănânc, dar nu așa.

În ciuda faptului că marketerii „adoră” verbal Big Data și chiar par să le folosească, în realitate, „totul este complicat”, deoarece scriu despre afecțiunile lor sincere pe rețelele de socializare.

Potrivit unui sondaj realizat de Circle Research în ianuarie 2014 în rândul marketerilor europeni, 4 din 5 respondenți nu folosesc Big Data (deși, desigur, le „adoră”). Motivele sunt diferite. Sunt puțini sceptici inveterati - 17% și exact același număr ca și antipozii lor, adică. cei care răspund cu încredere: „Da”. Restul ezită și se îndoiește, „mlaștina”. Ei evită un răspuns direct sub pretexte plauzibile precum „nu încă, dar în curând” sau „vom aștepta până încep ceilalți”.

Utilizarea Big Data de către marketeri, Europa, ianuarie 2014

Sursă:dnx, publicat -emarketer.com

Ce îi încurcă? Prostii curate. Unii (exact jumătate dintre ei) pur și simplu nu cred aceste date. Alții (de asemenea, sunt destul de mulți dintre ei - 55%) le este dificil să coreleze seturi de „date” și „utilizatori” între ei. Unii oameni pur și simplu au (ca să spună corect din punct de vedere politic) o mizerie internă corporativă: datele rătăcesc nesupravegheate între departamentele de marketing și structurile IT. Pentru alții, software-ul nu poate face față afluxului de muncă. Și așa mai departe. Întrucât cotele totale depășesc semnificativ 100%, este clar că situația „barierelor multiple” nu este neobișnuită.

Bariere în calea utilizării Big Data în marketing

Sursă:dnx, publicat -emarketer.com

Astfel, trebuie să recunoaștem că, în timp ce „Big Data” este un potențial mare care trebuie să fie profitat. Apropo, acesta poate fi motivul pentru care Big Data își pierde aureola ca „tendință la modă”, așa cum demonstrează datele dintr-un sondaj realizat de compania Econsultancy pe care am menționat-o deja.

Cele mai semnificative tendințe în marketing digital 2013-2014

Sursă: Econsultancy și Adobe

Ele sunt înlocuite de un alt rege - marketingul de conținut. Cât timp?

Nu se poate spune că Big Data este un fel de fenomen fundamental nou. Surse mari de date există de mulți ani: baze de date privind achizițiile clienților, istoriile de credit, stilul de viață. Și de ani de zile, oamenii de știință au folosit aceste date pentru a ajuta companiile să evalueze riscurile și să prezică nevoile viitoare ale clienților. Cu toate acestea, astăzi situația s-a schimbat în două aspecte:

Au apărut instrumente și tehnici mai sofisticate pentru a analiza și combina diferite seturi de date;

Aceste instrumente analitice sunt completate de o avalanșă de noi surse de date determinate de digitalizarea practic a tuturor metodelor de colectare și măsurare a datelor.

Gama de informații disponibile este atât inspiratoare, cât și descurajantă pentru cercetătorii crescuți în medii structurate de cercetare. Sentimentul consumatorilor este captat de site-uri web și de tot felul de rețele sociale. Faptul de a vizualiza o reclamă este înregistrat nu doar de decodificatoare, ci și cu ajutorul etichetelor digitale și a dispozitivelor mobile care comunică cu televizorul.

Datele comportamentale (cum ar fi volumul apelurilor, obiceiurile de cumpărături și achizițiile) sunt acum disponibile în timp real. Astfel, o mare parte din ceea ce putea fi obținut anterior prin cercetare poate fi acum învățat folosind surse de date mari. Și toate aceste active informaționale sunt generate în mod constant, indiferent de orice proces de cercetare. Aceste schimbări ne fac să ne întrebăm dacă datele mari pot înlocui studiile clasice de piață.

Nu este vorba despre date, ci despre întrebări și răspunsuri.

Înainte de a da glasul cercetării clasice, trebuie să ne reamintim că nu prezența anumitor active de date este esențială, ci altceva. Ce anume? Capacitatea noastră de a răspunde la întrebări, asta este. Un lucru amuzant despre noua lume a datelor mari este că rezultatele obținute din noile active de date conduc la și mai multe întrebări, iar la aceste întrebări, de obicei, cel mai bine este răspunsul cercetării tradiționale. Astfel, pe măsură ce big data crește, observăm o creștere paralelă a disponibilității și nevoii de „date mici” care pot oferi răspunsuri la întrebările din lumea datelor mari.

Luați în considerare situația: un agent de publicitate mare monitorizează continuu traficul în magazin și volumele vânzărilor în timp real. Metodologiile de cercetare existente (în care chestionăm jurnaliștii despre motivațiile lor de cumpărare și comportamentul la punctul de vânzare) ne ajută să vizăm mai bine anumite segmente de cumpărători. Aceste tehnici pot fi extinse pentru a include o gamă mai largă de active de date mari, până la punctul în care datele mari devin un mijloc de observare pasivă, iar cercetarea devine o metodă de investigare continuă, concentrată în mod restrâns, a schimbărilor sau evenimentelor care necesită studiu. Acesta este modul în care big data poate elibera cercetarea de rutina inutilă. Cercetarea primară nu mai trebuie să se concentreze pe ceea ce se întâmplă (datele mari vor face asta). În schimb, cercetarea primară se poate concentra pe explicarea de ce observăm anumite tendințe sau abateri de la tendințe. Cercetătorul se va putea gândi mai puțin la obținerea datelor și mai mult la modul de analiză și utilizare a acestora.

În același timp, vedem că big data poate rezolva una dintre cele mai mari probleme ale noastre: problema studiilor prea lungi. Examinarea studiilor în sine a arătat că instrumentele de cercetare supra-umflate au un impact negativ asupra calității datelor. Deși mulți experți au recunoscut de mult această problemă, ei au răspuns invariabil cu fraza „Dar am nevoie de aceste informații pentru conducerea superioară”, iar interviurile lungi au continuat.

În lumea datelor mari, unde valorile cantitative pot fi obținute prin observație pasivă, această problemă devine discutabilă. Din nou, să ne gândim la toate aceste studii referitoare la consum. Dacă datele mari ne oferă o perspectivă asupra consumului prin observație pasivă, atunci cercetarea prin sondaj primar nu mai trebuie să colecteze acest tip de informații și, în sfârșit, ne putem susține viziunea despre sondaje scurte cu ceva mai mult decât iluzii.

Big Data are nevoie de ajutorul tău

În cele din urmă, „mare” este doar o caracteristică a datelor mari. Caracteristica „mare” se referă la dimensiunea și scara datelor. Desigur, aceasta este caracteristica principală, deoarece volumul acestor date depășește orice lucru cu care am lucrat înainte. Dar și alte caracteristici ale acestor noi fluxuri de date sunt, de asemenea, importante: sunt adesea prost formatate, nestructurate (sau, în cel mai bun caz, parțial structurate) și pline de incertitudine. Un domeniu în curs de dezvoltare al managementului datelor, denumit pe bună dreptate entity analytics, abordează problema de a reduce zgomotul în big data. Sarcina sa este să analizeze aceste seturi de date și să descopere câte observații se referă la aceeași persoană, care observații sunt actuale și care sunt utilizabile.

Acest tip de curățare a datelor este necesar pentru a elimina zgomotul sau datele eronate atunci când lucrați cu active de date mari sau mici, dar nu este suficient. De asemenea, trebuie să creăm context în jurul activelor de date mari pe baza experienței noastre anterioare, a analizelor și a cunoștințelor pe categorii. De fapt, mulți analiști atrag atenția asupra capacității de a gestiona incertitudinea inerentă big data ca o sursă de avantaj competitiv, deoarece permite luarea unor decizii mai bune.

Aici cercetarea primară nu este doar eliberată de big data, dar contribuie și la crearea și analiza conținutului în cadrul datelor mari.

Un prim exemplu în acest sens este aplicarea noului nostru cadru fundamental diferit de capital de marcă pe rețelele sociale (vorbim despre dezvoltat înMillward Maroo nouă abordare pentru măsurarea echității mărciiThe Semnificativ Diferit Cadru– „Paradigma diferențelor semnificative” -R & T ). Modelul este testat comportamental pe piețe specifice, implementat pe o bază standard și poate fi aplicat cu ușurință în alte verticale de marketing și sisteme de informare pentru suport decizional. Cu alte cuvinte, modelul nostru de capital de marcă, bazat pe (deși nu se bazează exclusiv pe) cercetări prin sondaj, are toate caracteristicile necesare pentru a depăși natura nestructurată, dezarticulată și incertă a datelor mari.

Luați în considerare datele despre sentimentele consumatorilor furnizate de rețelele sociale. În formă brută, vârfurile și minimele sentimentului consumatorilor sunt foarte adesea corelate minim cu măsurile offline ale echității și comportamentului mărcii: pur și simplu există prea mult zgomot în date. Dar putem reduce acest zgomot aplicând modelele noastre de semnificație a consumatorilor, diferențierea mărcii, dinamica și caracterul distinctiv la datele brute despre sentimentele consumatorilor - o modalitate de procesare și agregare a datelor din rețelele sociale de-a lungul acestor dimensiuni.

Odată ce datele sunt organizate în conformitate cu cadrul nostru, tendințele identificate se aliniază de obicei cu echitatea mărcii offline și cu măsurile comportamentale. În esență, datele din rețelele sociale nu pot vorbi de la sine. Pentru a le folosi în acest scop este nevoie de experiența noastră și de modele construite în jurul mărcilor. Atunci când rețelele sociale ne oferă informații unice exprimate în limbajul pe care consumatorii îl folosesc pentru a descrie mărcile, trebuie să folosim acel limbaj atunci când creăm cercetarea noastră pentru a face cercetarea primară mult mai eficientă.

Beneficiile cercetării scutite

Acest lucru ne readuce la modul în care big data nu înlocuiește atât cercetarea, cât o eliberează. Cercetătorii vor fi eliberați de nevoia de a crea un nou studiu pentru fiecare caz nou. Activele de date mari în continuă creștere pot fi utilizate pentru diferite subiecte de cercetare, permițând cercetării primare ulterioare să aprofundeze subiectul și să umple golurile existente. Cercetătorii vor fi eliberați de a fi nevoiți să se bazeze pe sondaje supra-umflate. În schimb, pot folosi sondaje scurte și se pot concentra pe cei mai importanți parametri, ceea ce îmbunătățește calitatea datelor.

Cu această eliberare, cercetătorii vor putea să-și folosească principiile și ideile stabilite pentru a adăuga precizie și semnificație activelor de date mari, conducând la noi domenii pentru cercetarea prin sondaj. Acest ciclu ar trebui să conducă la o mai bună înțelegere a unei game de probleme strategice și, în cele din urmă, la o mișcare către ceea ce ar trebui să fie întotdeauna obiectivul nostru principal - de a informa și îmbunătăți calitatea deciziilor de brand și de comunicare.