[Κίνα, Shenzhen, 14 Ιουλίου 2023] Σήμερα, η Huawei αποκάλυψε τη νέα της λύση αποθήκευσης τεχνητής νοημοσύνης για την εποχή των μοντέλων μεγάλης κλίμακας, παρέχοντας βέλτιστες λύσεις αποθήκευσης για βασική εκπαίδευση μοντέλων, εκπαίδευση μοντέλων για συγκεκριμένο κλάδο και συμπέρασμα σε τμηματικά σενάρια. απελευθερώνοντας νέες δυνατότητες AI.
Κατά την ανάπτυξη και υλοποίηση εφαρμογών μοντέλων μεγάλης κλίμακας, οι επιχειρήσεις αντιμετωπίζουν τέσσερις μεγάλες προκλήσεις:
Πρώτον, ο χρόνος που απαιτείται για την προετοιμασία των δεδομένων είναι μεγάλος, οι πηγές δεδομένων είναι διάσπαρτες και η συγκέντρωση είναι αργή, απαιτώντας περίπου 10 ημέρες για την προεπεξεργασία εκατοντάδων terabyte δεδομένων. Δεύτερον, για πολυτροπικά μεγάλα μοντέλα με τεράστια σύνολα δεδομένων κειμένου και εικόνων, η τρέχουσα ταχύτητα φόρτωσης για τεράστια μικρά αρχεία είναι μικρότερη από 100 MB/s, με αποτέλεσμα χαμηλή απόδοση για τη φόρτωση σετ εκπαίδευσης. Τρίτον, οι συχνές προσαρμογές παραμέτρων για μεγάλα μοντέλα, μαζί με ασταθείς πλατφόρμες προπόνησης, προκαλούν διακοπές προπόνησης περίπου κάθε 2 ημέρες, καθιστώντας απαραίτητη την επανέναρξη της προπόνησης από τον μηχανισμό Checkpoint, ενώ η αποκατάσταση διαρκεί μία ημέρα. Τέλος, υψηλά όρια υλοποίησης για μεγάλα μοντέλα, σύνθετη εγκατάσταση συστήματος, προκλήσεις προγραμματισμού πόρων και χρήση πόρων GPU συχνά κάτω από 40%.
Η Huawei ευθυγραμμίζεται με την τάση ανάπτυξης της τεχνητής νοημοσύνης στην εποχή των μοντέλων μεγάλης κλίμακας, προσφέροντας λύσεις προσαρμοσμένες σε διαφορετικούς κλάδους και σενάρια. Παρουσιάζει το OceanStor A310 Deep Learning Data Lake Storage και το FusionCube A3000 Training/Inference Super-Converged Appliance. Το OceanStor A310 Deep Learning Data Lake Storage στοχεύει τόσο σε βασικά όσο και σε επίπεδο βιομηχανίας σενάρια μεγάλων μοντέλων λιμνών δεδομένων, επιτυγχάνοντας ολοκληρωμένη διαχείριση δεδομένων AI από τη συγκέντρωση δεδομένων, την προεπεξεργασία έως την εκπαίδευση μοντέλων και τις εφαρμογές συμπερασμάτων. Το OceanStor A310, σε ένα ενιαίο rack 5U, υποστηρίζει κορυφαίο εύρος ζώνης 400 GB/s και έως και 12 εκατομμύρια IOPS, με γραμμική επεκτασιμότητα έως 4096 κόμβους, επιτρέποντας απρόσκοπτη επικοινωνία μεταξύ πρωτοκόλλων. Το Παγκόσμιο Σύστημα Αρχείων (GFS) διευκολύνει την έξυπνη σύζευξη δεδομένων σε διάφορες περιοχές, εκσυγχρονίζοντας τις διαδικασίες συγκέντρωσης δεδομένων. Ο υπολογισμός κοντά στην αποθήκευση πραγματοποιεί προεπεξεργασία σχεδόν δεδομένων, μειώνοντας την κίνηση των δεδομένων και βελτιώνοντας την απόδοση προεπεξεργασίας κατά 30%.
Το FusionCube A3000 Training/Inference Super-Converged Appliance, σχεδιασμένο για σενάρια εκπαίδευσης/εξαγωγής συμπερασμάτων μεγάλων μοντέλων σε επίπεδο βιομηχανίας, εξυπηρετεί εφαρμογές που περιλαμβάνουν μοντέλα με δισεκατομμύρια παραμέτρους. Ενσωματώνει κόμβους αποθήκευσης υψηλής απόδοσης OceanStor A300, κόμβους εκπαίδευσης/εξαγωγής συμπερασμάτων, εξοπλισμό μεταγωγής, λογισμικό πλατφόρμας AI και λογισμικό διαχείρισης και λειτουργίας, παρέχοντας στους μεγάλους συνεργάτες μοντέλων μια εμπειρία ανάπτυξης plug-and-play για παράδοση μιας στάσης. Έτοιμο για χρήση, μπορεί να αναπτυχθεί εντός 2 ωρών. Και οι δύο κόμβοι εκπαίδευσης/συμπερασμάτων και αποθήκευσης μπορούν να επεκταθούν ανεξάρτητα και οριζόντια για να ταιριάζουν σε διάφορες απαιτήσεις κλίμακας μοντέλων. Εν τω μεταξύ, το FusionCube A3000 χρησιμοποιεί κοντέινερ υψηλής απόδοσης για να επιτρέψει πολλαπλές εργασίες εκπαίδευσης μοντέλων και συμπερασμάτων για κοινή χρήση GPU, αυξάνοντας τη χρήση πόρων από 40% σε πάνω από 70%. Το FusionCube A3000 υποστηρίζει δύο ευέλικτα επιχειρηματικά μοντέλα: το Huawei Ascend One-Stop Solution και τη λύση one-stop συνεργάτη τρίτου κατασκευαστή με ανοιχτό λογισμικό πλατφόρμας υπολογιστών, δικτύωσης και τεχνητής νοημοσύνης.
Ο πρόεδρος της σειράς προϊόντων αποθήκευσης δεδομένων της Huawei, Zhou Yuefeng, δήλωσε: «Στην εποχή των μοντέλων μεγάλης κλίμακας, τα δεδομένα καθορίζουν το ύψος της νοημοσύνης της τεχνητής νοημοσύνης. Ως φορέας δεδομένων, η αποθήκευση δεδομένων γίνεται η βασική θεμελιώδης υποδομή για μοντέλα τεχνητής νοημοσύνης μεγάλης κλίμακας. Η Huawei Data Storage θα συνεχίσει να καινοτομεί, παρέχοντας διαφοροποιημένες λύσεις και προϊόντα για την εποχή των μεγάλων μοντέλων τεχνητής νοημοσύνης, συνεργαζόμενη με συνεργάτες για την ενδυνάμωση της τεχνητής νοημοσύνης σε ένα ευρύ φάσμα βιομηχανιών».
Ώρα δημοσίευσης: Αύγ-01-2023
