Сучасні суперкомп’ютери є одними з найпотужніших машин у світі, здатних обробляти величезні обсяги даних і виконувати складні обчислення з неймовірною швидкістю. Ці машини зазвичай використовуються для наукових досліджень, аналізу даних та інших інтенсивних обчислювальних завдань, які вимагають величезної обчислювальної потужності.
Багато сучасних суперкомп’ютерів будуються з використанням кластерів із сотень або навіть тисяч окремих процесорів, які з’єднані між собою для створення єдиної уніфікованої системи. Ці машини можуть виконувати трильйони обчислень за секунду та використовуються для вирішення деяких із найскладніших проблем у таких галузях, як фізика, астрономія, моделювання клімату тощо.
Оскільки технологічний прогрес продовжує розширювати межі можливого, стає зрозуміло, що ера суперкомп’ютерів тільки починається. Технологічні лідери, особливо Google, вже довгий час є лідерами у галузі штучного інтелекту. Квантові обчислення є передовими, і згідно з останньою заявою компанії, її суперкомп’ютер швидший і енергоефективніший за машину Nvidia.
Tensor Processing Unit
Google розробив унікальний чіп під назвою Tensor Processing Unit (TPU) спеціально для навчання моделей ШІ. З огляду на те, що понад 90% навчальної роботи компанії по штучному інтелекту покладається на ці чіпи, очевидно, що вони є важливою частиною успіху Google у цій галузі.
Google щойно опублікував деталі свого TPU четвертого покоління, демонструючи, як вони використовували свої спеціально розроблені оптичні комутатори для з’єднання понад 4000 процесорів в один суперкомп’ютер. Це нововведення дозволяє суперкомп’ютеру Google переналаштовувати з’єднання між чіпами в режимі реального часу, підвищуючи продуктивність і уникаючи проблем.
Google PaLM
Зростання великих мовних моделей у ШІ викликало гостру конкуренцію між компаніями, які створюють суперкомп’ютери. Модель Google PaLM, її найбільша публічно оприлюднена мовна модель на сьогоднішній день, потребувала понад 50 днів для навчання, поширюючи її на два суперкомп’ютери з 4000 мікросхемами. Гнучкі з’єднання Google допомагають подолати цю проблему, дозволяючи компанії миттєво змінювати топологію з’єднань своїх суперкомп’ютерів.
Суперкомп’ютер Google уже запущено в експлуатацію, а стартап Midjourney використовує систему для навчання своєї моделі, яка генерує зображення з текстових вводів.
У нещодавній статті Google показав, що їхній суперкомп’ютер у 1,7 рази швидший і в 1,9 разів енергоефективніший, ніж система на основі чіпа Nvidia A100 для системи такого ж розміру. Google не порівнював свій продукт четвертого покоління з поточним флагманським чіпом Nvidia H100, але є натяки, що Google працює над новим TPU, щоб конкурувати з останньою пропозицією Nvidia.
