MSI EdgeXpert: AI суперкомпютърът, който се побира на дланите ви!

Само допреди няколко години дори не знаехме какво е AI. После, когато той се появи, работата на модели с изкуствен интелект изискваше мощни скъпи сървъри, специализирана инфраструктура или постоянен достъп до облачните услуги. Днес обаче един реален продукт може да промени изцяло тази представа. MSI EdgeXpert представлява компактен, персонален AI суперкомпютър, базиран на култовата архитектура NVIDIA DGX Spark, който предоставя сериозна изчислителна мощ, събрана буквално в една длан! Можете да го ползвате вкъщи, на лабораторната маса, в производствения цех, на кораб, самолет… а защо не и на някоя космическа станция?

Животът в ерата на персоналния AI

Наистина, ако погледнете снимките, ще се учудите, че в един корпус, приличащ на „евтина Barebone конфигурация“, производителят е събрал топ съвременен хардуер. Физическите размери на суперкомпютъра са 151 x 151 x 52 мм, с тегло едва 1,2 килограма! Или колкото един преносим ултрабук! Захранването му става чрез външен USB-C адаптер с мощност 240 W, а наличният Kensington Lock ще ви успокои, ако се налага да оставите устройството без надзор по време на някое представяне или при демонстрация на клиент. Все пак той хич не е евтин, а в същото време може лесно да го носите с вас за демонстрации, анализи на данни на терен и най-вече - без да се налага да изпращате чувствителна информация към облака!

Интелигентна машина, базирана на хиперхардуер

MSI EdgeXpert включва суперчипа NVIDIA GB10 Grace Blackwell. Той съчетава в себе си GPU (с архитектура Blackwell) и 20-ядрен Arm процесор (работещ с 10 високопроизводителни Cortex-X925 и 10 ефективни Cortex-A725 ядра). Интересното тук е, че вътрешната връзка NVLink-C2C между CPU и GPU осигурява общо адресно пространство за тях, както и много по-висока пропускателна способност спрямо традиционните PCIe връзки. Благодарение на това системата достига 1000 AI TOPS, или 1 petaFLOP при FP4 разредени изчисления! За запознатите по темата споменаваме още, че се поддържат TF32, FP16, BF16, INT8, FP8, FP6 и FP4 формати за представяне на числата, с които AI извършва изчисления. Така можете да избирате - колкото по-малко битове използва избраният формат, толкова по-бърза е обработката и по-малко памет е необходима, но пък точността намалява. Петото поколение Tensor ядра на системата допълнително ускорява AI операциите, а четвъртото поколение RT ядра подпомага визуализацията и рендерирането.
Една от най-важните характеристики обаче е обединената системна памет: 128 GB LPDDR5x с 256-битов интерфейс и пропускателна способност 273 GB/s. Вместо CPU и GPU да разполагат с отделна памет и постоянно да прехвърлят данни, те използват общия ресурс. Така около 100 GB памет е достъпна за потребителски изчисления, което позволява локално изпълнение на големи езикови модели с до 200 млрд. параметъра и фина настройка на модели с до 70 млрд. параметъра. Ако сте ентусиасти, дори може да свържете две системи чрез NVIDIA ConnectX-7 интерфейса и ще можете да обработвате модели с до 405 млрд. параметъра! Това си е суперкомпютър, наистина! Реалната скорост, разбира се, все пак зависи от модела, който използвате, контекста и използвания софтуер, но вие решавате всичко.

Данните при MSI EdgeXpert се съхраняват на 4 TB самокриптиращ се NVMe M.2 SSD. Свързаността с външни системи включва: 10 GbE интерфейс RJ-45, два QSFP интерфейса ConnectX-7 QSFP 200 GbE, Wi-Fi 7 и Bluetooth 5.4. Налични са и четири USB 3.2 Type-C порта със скорост до 20 Gbps, HDMI 2.1 и DisplayPort през 3 от 4-те USB-C порта, което дава възможност за свързването на до четири независими дисплея. Дали ви трябва нещо повече от това? Благодарение на всички интерфейси, MSI EdgeXpert може да работи или като самостоятелна AI станция (с монитор, клавиатура и мишка) или пък като мрежово свързан персонален AI облак, към вече наличната ви инфраструктура.

Имайте предвид, че MSI EdgeXpert работи с NVIDIA DGX OS (базирана на Ubuntu) и използва NVIDIA AI софтуерния стек. Те ще ви осигурят достъп до CUDA екосистемата, NVIDIA Isaac за приложения в роботиката, Holoscan за медицински устройства, Riva за речеви и езикови приложения и Metropolis за видеоанализ и изграждане на умни градове. Ако сте разработили локално ваш нов проект, при нужда той лесно може да бъде преместен (с минимални промени) към DGX Cloud, традиционен корпоративен център за данни или друга NVIDIA-ускорена инфраструктура. Тоест – съвместимостта и скалирането на всеки нов продукт е гарантирана!

Ако все още се питате „За кого е и каква работа може да свърши“?

Най-логичните потребители на тази система, разбира се, са AI разработчиците, специалисти по данни, изследователи, университети или независими професионалисти. С нея те могат да разработват приложения, да изпълняват локални задачи, да експериментират с фини настройки и да създават мощни частни AI асистенти. За бизнеса локалната обработка означава сериозно намаляване на латентността, запазване на данните в собствената частна инфраструктура и превръщане на част от облачните разходи в предвидима инвестиция.

Ето и конкретни приложения: в правната и патентната дейност MSI EdgeXpert може да анализира договори, да извлича структурирани данни и да търси във вътрешни нормативни бази. За финансови институции, администрацията, отбраната и големите предприятия е възможен напълно офлайн гласов превод, включващ разпознаване на реч, превод и синтез на глас. Системата може да поддържа частни AI агенти дори в изолирана от интернет среда!

Все пак имайте предвид, че това е професионална Arm/Linux AI платформа, а не стандартен Windows настолен компютър. Освен това максималният брой параметри не означава, че всеки модел ще работи еднакво бързо, а готовите решения за правен анализ, машинно зрение или превод все още изискват допълнителен софтуер, камери и интеграция.

И като за финал – един конкретен пример >> https://www.youtube.com/watch?v=l8vhN5kTLEc 

Това е демонстрацията, представена съвместно от MSI и Memorence AI в YouTube. При нея камери наблюдават първоначалния работен процес по сглобяване на продукт, като визуално-езиков модел сравнява действията със стандартни оперативни процедури, дава инструкции в реално време и извършва динамичен визуален контрол на качеството. След това операторът може да подаде обратна връзка и да адаптира модела за всяка промяна (без ново програмиране), което става за по-малко от минута! Този процес на локално, бързо обучение е особено ценен при производството на малки серии продукти с много варианти, където традиционната автоматична оптична инспекция изисква специално осветление, приспособления и инженерна настройка.