Стремительная подготовка моделей машинного обучения критически нужна всюду, где употребляются эти модели. Для Гугл это, в частности, работа главных сервисов — поисковой машины и переводчика.
Представленный в 2018 году тест для определения мощности систем искусственного ума MLPerf (разработанный, к слову, не без роли Гугл) поставил гугловский суперкомпьютер на базе крайней модели чипа Tensor Processing Unit (TPU) на верхушку рейтинга производительности в 6 из восьми тестов.
Модели реализованы на базе программной библиотеки TensorFlow, JIT-компилятора JAX и фреймворка Lingvo.
Четыре из восьми моделей были обучены с нуля наименее чем за 30 секунд. Для сопоставления: в 2015 году на это уходило наиболее трёх недель. Таковым образом, скорость обучения выросла за 5 лет наиболее чем на 5 порядков.
Победа в тестах.
Так какие задачки приметно резвее производятся Гугл TPU, согласно тестам MLPerf? Чему учился суперкомпьютер?
-
DLRM — система ранжирования и советов, обширно употребляется в онлайн-бизнесе.
Архитектура нейросети Transformer стала основой волны достижений в области обработки естественного языка, на ней базирована и последующая система, BERT.
Конкретно BERT, по словам представителей Гугл, обеспечил самый приметный прорыв в качестве поиска в последнюю пятилетку.
ResNet-50 — обширно применяемая модель для систематизации изображений.
SSD — модель определения объектов, может употребляться даже на мобильных устройствах.
Mask R-CNN — модель сегментации изображений, которая требуется в автономной навигации, мед визуализации и остальных областях.
Комп-чемпион Гугл, так отлично показавший себя в тестах, в четыре раза больше, чем пасмурный модуль TPU v3, который установил три рекорда в прошлом соревновании.
Система построена на 4096 чипах TPU v3 и сотке процессорных хост-машин. В общей трудности эта система даёт наиболее 430 Пфлопс пиковой производительности.
Очевидно, Гугл на этом не останавливается. Анонсирован, пока без подробностей, выход новейшего чипа — TPU v4, наиболее чем в дважды наиболее производительного, чем v3.