Išmokite Pagal Pavyzdį: Hadoop, "MapReduce For Big Data" Problemoms

Simpliv

Programos aprašymas

Oficialus aprašymas

Išmokite Pagal Pavyzdį: Hadoop, "MapReduce For Big Data" Problemoms

Simpliv

Mokėsi 4 žmonių komanda, įskaitant 2 Stanfordo turinčius išsilavinusius, buvusius "Google" darbuotojus ir 2 ex-Flipkart švino analitikus. Ši komanda turi dešimtmečius praktinės patirties dirbant su Java ir milijardais duomenų eilučių.

Šis kursas yra priartinimas, priartinimas, praktiškas treniruotės, apimančios Hadoop, MapReduce ir lygiagretaus mąstymo meną.

Let's parse this.

Zoom-in, Zoom-Out: šis kursas yra platus ir gilus. Tai išsamiai apibūdina atskirus "Hadoop" komponentus ir taip pat suteikia jums aukštesnio lygio vaizdą apie tai, kaip jie sąveikauja tarpusavyje.

"Hadoop", "MapReduce", "Hand-in-training" treniruotė. Šis kursas labai anksti taps jums "Hadoop". Jūs sužinosite, kaip sukonfigūruoti savo klasterį naudodami VM ir Debesis. Apima visas pagrindines "MapReduce" savybes, įskaitant pažangias temas, tokias kaip "Total Sort" ir "Secondary Sort".

Analogiško mąstymo menas: "MapReduce" visiškai pakeitė tai, kaip žmonės galvoja apie "Big Data" apdorojimą. Iškilus bet kokiai problemai į paralelizuotus vienetus, tai yra menas. Šio kurso pavyzdžiai jus išmokys "galvoti lygiagrečiai".

Ką apima: Lot of cool stuff

"MapReduce" naudojimas:

  • Rekomenduokite draugus socialinių tinklų svetainėje: sukurkite dešimties geriausių draugų rekomendacijas, naudodamiesi bendrai naudojamo filtravimo algoritmu.
  • Sukurkite apverstą rodyklę paieškos sistemoms: naudokite "MapReduce", kad būtų lygiagreti pagarbi užduotis - sukurti paieškos rodyklę apverstą indeksą.
  • Sukurkite Bigramus iš teksto: Sukurkite bigramus ir apskaičiuokite jų dažnių pasiskirstymą teksto korpuse.

Sukurk savo "Hadoop" klasterį:

  • Įdiekite "Hadoop" atskirose, pseudo-paskirstytose ir visiškai paskirstytose režimuose
  • Nustatykite "Hadoop" klasterį naudodami Linux VM.
  • Sukonfigūruokite Debesis "Hadoop" klasterį "AWS" su "Cloudera Manager".
  • Suprasti HDFS, MapReduce ir YARN bei jų sąveika

Tinkinkite "MapReduce" darbus:

  • Keletas MR darbų grandinės kartu
  • Parašyk savo individualųjį skirsnį
  • Iš viso Rūšiuoti: visame pasaulyje rūšiuoti didelį duomenų kiekį atrinkdami įvesties failus
  • Antrinis rūšiavimas
  • Vieneto bandymai su MR vienetu
  • Integruokite su "Python" naudodami "Hadoop Streaming" API

.. ir, žinoma, visi pagrindai:

  • MapReduce: Mapper, Reducer, Rūšiuoti / sujungti, dalijimasis, Shuffle ir Rūšiuoti
  • HDFS

Diskusijų forumų naudojimas

Prašome naudoti šio kurso diskusijų forumus, kad galėtumėte bendrauti su kitais studentais ir padėti vieni kitiems. Deja, kuo labiau norėtume, ne Loonycorn mes negalime atsakyti į individualius studentų klausimus :-(

Mes esame labai maži ir savarankiškai finansuojami, o tik 2 žmonės kuria techninį vaizdo įrašų turinį. Mūsų misija yra parengti aukštos kokybės kursus per super žemas kainas.

Vienintelis būdas išlaikyti mūsų žemas kainas yra * NEKALDOMA papildoma techninė pagalba el. Paštu arba asmeniškai *. Tiesa yra ta, kad tiesioginė parama yra labai brangios ir tiesiog nesumažinama.

Mes suprantame, kad tai nėra idealus ir daug studentų gali pasinaudoti šia papildoma parama. Papildomos paramos išteklių paskirstymas padėtų mums pasiūlyti žymiai brangesnes išlaidas, todėl nugalėjo mūsų pradinį tikslą. Tai sunkus kompromisas.

Dėkojame už kantrybę ir supratimą!

Kas yra tikslinė auditorija?

  • Taip! Analitikai, kurie nori pasinaudoti HDFS galia, kur tradicinės duomenų bazės daugiau neišpjauna
  • Taip! Inžinieriai, kurie nori kurti sudėtingas paskirstytųjų skaičiavimo programas, kad apdorotų daugybę duomenų
  • Taip! Duomenų mokslininkai, kurie nori pridėti "MapReduce" prie savo duomenų rinkimo gudrybių

PAGRINDINĖS ŽINIOS

  • Jums reikės IDE, kur galėsite parašyti "Java" kodą arba atidaryti pradinį kodą, kuris bendrinamas. "IntelliJ" ir "Eclipse" yra puiki galimybė.
  • Jums reikės tam tikro fono Objektinis programavimas, pageidautina Java. Visas šaltinio kodas yra "Java", ir mes pasinerkime tiesiai į objektus, klases ir pan
  • Šiek tiek "Linux / Unix" apvalkalų ekspozicijos būtų naudingos, tačiau tai nebus blokatorius

Ką sužinosite

  • Sukurti pažangias "MapReduce" programas apdoroti "BigData"
  • Mokyk "lygiagretaus mąstymo" meną - kaip suskirstyti užduotį į žemėlapį / mažinti transformacijas
  • Savarankiškai sukūrę savo mini Hadoop klasterį, ar tai yra vienas mazgas, fizinis klasteris ar debesys.
  • Naudok Hadoop MapReduce, kad išspręstumėte įvairias problemas: nuo NLP iki apverstų indeksų iki rekomendacijų
  • Suprasti HDFS, MapReduce ir YARN ir kaip jie sąveikauja tarpusavyje
  • Suprasite, kaip optimizuoti ir valdyti savo klasterius
Ši mokykla siūlo tokias studijų programas:
  • Anglų


Paskutinį kartą atnaujinta February 10, 2018
Trukmė ir kaina
Šis kursas yra Internetinės
Start Date
Pradžia
Registracija galima
Duration
Trukmė
7 - 8 valandos
Ištęstinės
Dieninės
Price
Kaina
19 USD
Locations
Jungtinės Amerikos Valstijos - Fremont, California
Pradžia : Registracija galima
Galutinis paraiškų davimo terminas Susisiekti su mokykla
Pabaigos data Susisiekti su mokykla
Dates
Registracija galima
Jungtinės Amerikos Valstijos - Fremont, California
Galutinis paraiškų davimo terminas Susisiekti su mokykla
Pabaigos data Susisiekti su mokykla