Λέγεται ότι οι εταιρείες τεχνολογίας είτε αγωνίζονται για GPU είτε στο δρόμο για την απόκτησή τους. Τον Απρίλιο, ο Διευθύνων Σύμβουλος της Tesla, Έλον Μασκ, αγόρασε 10.000 GPU και δήλωσε ότι η εταιρεία θα συνεχίσει να αγοράζει μεγάλη ποσότητα GPU από την NVIDIA. Από την πλευρά της επιχείρησης, το προσωπικό IT πιέζει επίσης σκληρά για να διασφαλίσει ότι οι GPU χρησιμοποιούνται συνεχώς για τη μεγιστοποίηση της απόδοσης της επένδυσης. Ωστόσο, ορισμένες εταιρείες μπορεί να διαπιστώσουν ότι ενώ ο αριθμός των GPU αυξάνεται, η αδράνεια της GPU γίνεται πιο σοβαρή.
Αν η ιστορία μας έχει διδάξει κάτι για τους υπολογιστές υψηλής απόδοσης (HPC), είναι ότι η αποθήκευση και η δικτύωση δεν πρέπει να θυσιάζονται σε βάρος της υπερβολικής εστίασης στον υπολογισμό. Εάν η αποθήκευση δεν μπορεί να μεταφέρει αποτελεσματικά δεδομένα στις υπολογιστικές μονάδες, ακόμα κι αν έχετε τις περισσότερες GPU στον κόσμο, δεν θα επιτύχετε τη βέλτιστη απόδοση.
Σύμφωνα με τον Mike Matchett, αναλυτή στο Small World Big Data, μικρότερα μοντέλα μπορούν να εκτελεστούν στη μνήμη (RAM), επιτρέποντας μεγαλύτερη εστίαση στον υπολογισμό. Ωστόσο, μεγαλύτερα μοντέλα όπως το ChatGPT με δισεκατομμύρια κόμβους δεν μπορούν να αποθηκευτούν στη μνήμη λόγω του υψηλού κόστους.
«Δεν μπορείτε να χωρέσετε δισεκατομμύρια κόμβους στη μνήμη, επομένως η αποθήκευση γίνεται ακόμα πιο σημαντική», λέει ο Matchett. Δυστυχώς, η αποθήκευση δεδομένων συχνά παραβλέπεται κατά τη διαδικασία σχεδιασμού.
Γενικά, ανεξάρτητα από την περίπτωση χρήσης, υπάρχουν τέσσερα κοινά σημεία στη διαδικασία εκπαίδευσης του μοντέλου:
1. Εκπαίδευση μοντέλου
2. Εφαρμογή συμπερασμάτων
3. Αποθήκευση δεδομένων
4. Επιταχυνόμενος Υπολογισμός
Κατά τη δημιουργία και την ανάπτυξη μοντέλων, οι περισσότερες απαιτήσεις δίνουν προτεραιότητα σε περιβάλλοντα γρήγορης απόδειξης ιδέας (POC) ή δοκιμών για την έναρξη εκπαίδευσης μοντέλων, χωρίς να λαμβάνονται υπόψη οι ανάγκες αποθήκευσης δεδομένων.
Ωστόσο, η πρόκληση έγκειται στο γεγονός ότι η εκπαίδευση ή η ανάπτυξη συμπερασμάτων μπορεί να διαρκέσει μήνες ή και χρόνια. Πολλές εταιρείες κλιμακώνουν γρήγορα τα μεγέθη των μοντέλων τους κατά τη διάρκεια αυτής της περιόδου και η υποδομή πρέπει να επεκταθεί για να φιλοξενήσει τα αυξανόμενα μοντέλα και σύνολα δεδομένων.
Έρευνα από την Google σχετικά με εκατομμύρια φόρτους εργασίας εκπαίδευσης ML αποκαλύπτει ότι κατά μέσο όρο το 30% του χρόνου εκπαίδευσης δαπανάται στη γραμμή δεδομένων εισόδου. Ενώ η προηγούμενη έρευνα έχει επικεντρωθεί στη βελτιστοποίηση των GPU για την επιτάχυνση της εκπαίδευσης, εξακολουθούν να υπάρχουν πολλές προκλήσεις στη βελτιστοποίηση διαφόρων τμημάτων του αγωγού δεδομένων. Όταν έχετε σημαντική υπολογιστική ισχύ, το πραγματικό εμπόδιο είναι το πόσο γρήγορα μπορείτε να τροφοδοτήσετε δεδομένα στους υπολογισμούς για να λάβετε αποτελέσματα.
Συγκεκριμένα, οι προκλήσεις στην αποθήκευση και διαχείριση δεδομένων απαιτούν προγραμματισμό για την ανάπτυξη δεδομένων, επιτρέποντάς σας να εξάγετε συνεχώς την αξία των δεδομένων καθώς προχωράτε, ιδιαίτερα όταν επιχειρείτε πιο προηγμένες περιπτώσεις χρήσης, όπως η βαθιά μάθηση και τα νευρωνικά δίκτυα, που θέτουν υψηλότερες απαιτήσεις σε αποθήκευσης όσον αφορά τη χωρητικότητα, την απόδοση και την επεκτασιμότητα.
Προπαντός:
Επεκτασιμότητα
Η μηχανική εκμάθηση απαιτεί χειρισμό τεράστιων ποσοτήτων δεδομένων και καθώς αυξάνεται ο όγκος των δεδομένων, βελτιώνεται και η ακρίβεια των μοντέλων. Αυτό σημαίνει ότι οι επιχειρήσεις πρέπει να συλλέγουν και να αποθηκεύουν περισσότερα δεδομένα κάθε μέρα. Όταν ο χώρος αποθήκευσης δεν μπορεί να κλιμακωθεί, οι φόρτοι εργασίας με μεγάλη ένταση δεδομένων δημιουργούν εμπόδια, περιορίζοντας την απόδοση και καταλήγοντας σε δαπανηρό χρόνο αδράνειας GPU.
Ευκαμψία
Η ευέλικτη υποστήριξη πολλαπλών πρωτοκόλλων (συμπεριλαμβανομένων των NFS, SMB, HTTP, FTP, HDFS και S3) είναι απαραίτητη για την κάλυψη των αναγκών διαφορετικών συστημάτων, αντί να περιορίζεται σε έναν μόνο τύπο περιβάλλοντος.
Αφάνεια
Η καθυστέρηση εισόδου/εξόδου είναι κρίσιμη για τη δημιουργία και τη χρήση μοντέλων καθώς τα δεδομένα διαβάζονται και ξαναδιαβάζονται πολλές φορές. Η μείωση του λανθάνοντος χρόνου εισόδου/εξόδου μπορεί να συντομεύσει τον χρόνο εκπαίδευσης των μοντέλων κατά ημέρες ή μήνες. Η ταχύτερη ανάπτυξη μοντέλων μεταφράζεται άμεσα σε μεγαλύτερα επιχειρηματικά πλεονεκτήματα.
Διακίνηση
Η απόδοση των συστημάτων αποθήκευσης είναι ζωτικής σημασίας για την αποτελεσματική εκπαίδευση μοντέλων. Οι διαδικασίες εκπαίδευσης περιλαμβάνουν μεγάλες ποσότητες δεδομένων, συνήθως σε terabyte ανά ώρα.
Παράλληλη πρόσβαση
Για να επιτευχθεί υψηλή απόδοση, τα μοντέλα εκπαίδευσης χωρίζουν τις δραστηριότητες σε πολλαπλές παράλληλες εργασίες. Αυτό συχνά σημαίνει ότι οι αλγόριθμοι μηχανικής εκμάθησης έχουν πρόσβαση στα ίδια αρχεία από πολλές διεργασίες (δυνητικά σε πολλούς φυσικούς διακομιστές) ταυτόχρονα. Το σύστημα αποθήκευσης πρέπει να χειρίζεται ταυτόχρονες απαιτήσεις χωρίς συμβιβασμούς στην απόδοση.
Με τις εξαιρετικές δυνατότητές του σε χαμηλή καθυστέρηση, υψηλή απόδοση και παράλληλη είσοδο/έξοδο μεγάλης κλίμακας, το Dell PowerScale είναι ένα ιδανικό συμπλήρωμα αποθήκευσης για υπολογιστές με επιτάχυνση GPU. Το PowerScale μειώνει αποτελεσματικά τον χρόνο που απαιτείται για μοντέλα ανάλυσης που εκπαιδεύουν και δοκιμάζουν σύνολα δεδομένων πολλών terabyte. Στο PowerScale all-flash αποθήκευσης, το εύρος ζώνης αυξάνεται κατά 18 φορές, εξαλείφοντας τα σημεία συμφόρησης I/O και μπορεί να προστεθεί στα υπάρχοντα συμπλέγματα Isilon για να επιταχύνει και να ξεκλειδώσει την τιμή μεγάλων ποσοτήτων μη δομημένων δεδομένων.
Επιπλέον, οι δυνατότητες πρόσβασης πολλαπλών πρωτοκόλλων του PowerScale παρέχουν απεριόριστη ευελιξία για την εκτέλεση φόρτου εργασίας, επιτρέποντας την αποθήκευση δεδομένων χρησιμοποιώντας ένα πρωτόκολλο και την πρόσβαση με άλλο. Συγκεκριμένα, τα ισχυρά χαρακτηριστικά, η ευελιξία, η επεκτασιμότητα και η λειτουργικότητα εταιρικού επιπέδου της πλατφόρμας PowerScale βοηθούν στην αντιμετώπιση των ακόλουθων προκλήσεων:
- Επιταχύνετε την καινοτομία έως και 2,7 φορές, μειώνοντας τον κύκλο εκπαίδευσης του μοντέλου.
- Εξαλείψτε τα σημεία συμφόρησης εισόδου/εξόδου και παρέχετε ταχύτερη εκπαίδευση και επικύρωση μοντέλων, βελτιωμένη ακρίβεια μοντέλου, βελτιωμένη παραγωγικότητα της επιστήμης δεδομένων και μεγιστοποιημένη απόδοση στις υπολογιστικές επενδύσεις αξιοποιώντας χαρακτηριστικά εταιρικού επιπέδου, υψηλή απόδοση, ταυτόχρονη και επεκτασιμότητα. Βελτιώστε την ακρίβεια του μοντέλου με βαθύτερα σύνολα δεδομένων υψηλότερης ανάλυσης αξιοποιώντας έως και 119 PB αποτελεσματικής χωρητικότητας αποθήκευσης σε ένα μόνο σύμπλεγμα.
- Επιτεύξτε την ανάπτυξη σε κλίμακα ξεκινώντας από μικρό και ανεξάρτητο υπολογισμό και αποθήκευση, παρέχοντας ισχυρές επιλογές προστασίας δεδομένων και ασφάλειας.
- Βελτιώστε την παραγωγικότητα της επιστήμης δεδομένων με επιτόπιες αναλύσεις και προ-επικυρωμένες λύσεις για ταχύτερες αναπτύξεις χαμηλού κινδύνου.
- Αξιοποίηση αποδεδειγμένων σχεδίων που βασίζονται στις καλύτερες τεχνολογίες, συμπεριλαμβανομένης της επιτάχυνσης GPU της NVIDIA και των αρχιτεκτονικών αναφοράς με συστήματα NVIDIA DGX. Η υψηλή απόδοση και η ταυτόχρονη χρήση του PowerScale πληρούν τις απαιτήσεις απόδοσης αποθήκευσης σε κάθε στάδιο της μηχανικής εκμάθησης, από την απόκτηση και την προετοιμασία δεδομένων έως την εκπαίδευση μοντέλων και τα συμπεράσματα. Μαζί με το λειτουργικό σύστημα OneFS, όλοι οι κόμβοι μπορούν να λειτουργούν απρόσκοπτα στο ίδιο σύμπλεγμα που βασίζεται στο OneFS, με χαρακτηριστικά σε εταιρικό επίπεδο, όπως διαχείριση απόδοσης, διαχείριση δεδομένων, ασφάλεια και προστασία δεδομένων, επιτρέποντας την ταχύτερη ολοκλήρωση της εκπαίδευσης μοντέλων και την επικύρωση για τις επιχειρήσεις.
Ώρα δημοσίευσης: Ιουλ-03-2023
