Când facem partiții și găleți în stup?

Cuprins:

Când facem partiții și găleți în stup?
Când facem partiții și găleți în stup?

Video: Când facem partiții și găleți în stup?

Video: Când facem partiții și găleți în stup?
Video: Suferi de dureri articulare? Nu mânca aceste alimente niciodată 2024, Martie
Anonim

Hive partitioning and Bucketing este, atunci când facem partitionare, creăm o partiție pentru fiecare valoare unică a coloanei Dar poate exista situații în care trebuie să creăm o mulțime de mici despărțitori. Dar dacă utilizați compartimentarea, o puteți limita la un număr pe care îl alegeți și să vă descompuneți datele în acele compartimente.

Când folosim partiționarea și compartimentarea în Hive?

Partiționarea ajută la eliminarea datelor, dacă este folosită în clauza WHERE, în cazul în care compartimentarea ajută la organizarea datelor din fiecare partiție în mai multe fișiere, astfel încât același set de date este întotdeauna scris în aceeași găleată. Ajută foarte mult la unirea coloanelor.

Când ar trebui să folosesc bucketing Hive?

Bucketing în stup este utilă atunci când aveți de-a face cu seturi de date mari care ar putea fi nevoite să fie separate în clustere pentru o gestionare mai eficientă și pentru a putea efectua interogări de alăturare cu alte seturi de date mari. Cazul de utilizare principal este unirea a două seturi mari de date care implică constrângeri de resurse, cum ar fi limitele de memorie.

Putem face partiții și compartimentări pe aceeași coloană?

Pentru a încheia, puteți parționa și utiliza compartimentarea pentru stocarea rezultatelor aceleiași interogări CTAS Aceste tehnici de scriere a datelor nu se exclud reciproc. De obicei, coloanele pe care le utilizați pentru compartimentare diferă de cele pe care le utilizați pentru partiționare. … Îți poți stoca datele în mai multe compartimente în Amazon S3.

Putem folosi compartimentarea fără partiţionare în Hive?

Bucketing se poate face, de asemenea, chiar și fără partiționare pe tabelele Hive. Mesele cu găleți permit eșantionarea mult mai eficientă decât mesele fără găleți. Permiterea interogărilor pe o secțiune de date pentru testare și depanare atunci când seturile de date originale sunt foarte mari.

Recomandat: