Big data
Big Data je pojam koji označava velike i kompleksne setove podataka, kod kojih tradicionalne aplikacije za obradu podataka nisu primenljive. Te skupove podataka karakterišu raznovrsnost formata, velike brzine obrade i pristupa, i veliki obim informacija[1]. Izazovi uključuju projektovanje i realizaciju infrastrukture i servisa za skladištenje velikih količina podataka, njihovu pretragu, analizu, deljenje i vizuelizaciju. Termin big data se često odnosi na upotrebu predikativne analitike ili drugih naprednih metoda za izdvajanje vrednosti iz podataka, a ne samo na određenu veličinu skupa podataka.
Big data koncept karakteriše prelazak sa relacionih na nerelacione baze podataka [2]. Kao što su na primer Guglov Bigtable i Amazonov Dynamo. Jedno od rešenja za infrastukturu Big Data je Hadoop, softver otvorenog koda. Big Data pruža mogućnost obrade podataka u realnom vremenu, a pretraga se vrši korišćenjem Map reduce (link) algoritma. Na primer, rezultati pretrage u Gugl pretraživaču se dobijaju u milisekundama upravo zahvaljujući ovim tehnologijama.
Virtualizacija i big data
Virtualizacija velikih podataka način je prikupljanja informacija s više izvora na istom mjestu. Skupljanje je virtualno: za razliku od drugih metoda, većina podataka ostaje na mjestu i preuzima se na zahtjev direktno iz izvornog sistema.[3]
Tehnologije
Izveštaj McKinsey Global Institute iz 2011. karakteriše glavne komponente i ekosistem velikih podataka na sledeći način:[4][5]
- Tehnike za analizu podataka, kao što su A/B testiranje, mašinsko učenje i obrada prirodnog jezika
- Tehnologije velikih podataka, kao što su poslovna inteligencija, računarstvo u oblaku i baze podataka
- Vizuelizacija, kao što su grafikoni, grafikoni i drugi prikazi podataka.
