02.03.2022
Современные технологии не стоят на месте — каждый день появляются новые устройства, улучшающие качество жизни. Так, на днях токийские исследователи представили новый чип-ускоритель Hiddenite, достигающий передовой точности расчёта скрытых разреженных нейросетей, тем самым сокращая вычислительные издержки. Рассказывает Тимур Фаизов, педагог по направлению «IT-моделирование» «Новых мест дополнительного образования».
— Традиционные ускорители DNN предлагают высокую производительность, но не учитывают мощность, потребляемую при доступе к внешней памяти.
По словам профессора Мотомура, сокращение обращений к внешней памяти — ключ к уменьшению потребления вычислительной мощности. Сегодня для достижения высокой точности выводов требуется больше нейронных сетей. Но они увеличивают количество обращений к внешней памяти, чтобы загрузить параметры, тогда как Hiddenite их сокращает.
Hiddenite — это тензорный движок вывода скрытых нейронных сетей и первый чип вывода HNN. Его архитектура позволяет достичь трёх преимуществ в эффективности. Веса генерируются и регенерируются при помощи генератора случайных чисел. Это устраняет обращения к внешней памяти и издержки на хранение весов.
Расширение супермаски прямо на кристалле сокращает количество загружаемых ускорителем супермасок из внешней памяти. Четырёхмерный параллельный процессор с высокой плотностью транзисторов, который доводит переиспользование (и, таким образом, эффективность) данных при вычислениях до максимума.
Первые два преимущества отличают чип Hiddenite от существующих ускорителей вывода DNN, Более того, разработчики ввели новый метод обучения скрытых нейросетей и назвали его «дистилляцией оценки», где общепринятая дистилляция знаний весов конвертируется в оценки, поскольку скрытая нейросеть никогда не обновляет веса. По словам профессора, точность этого подхода сравнима с точностью бинарной модели, хотя размер в два раза меньше.
На основе технологии Hiddenite команда сконструировала и изготовила прототип чипа на ISMC при технологическом процессе 40 нм.
Чип размером всего 3×3 мм справляется с 4096 операциями умножения-сложения сразу. Он достигает передовой вычислительной эффективности, а это до 34,8 триллиона операций в секунду на ватт при размере, в два раза меньшем размера бинарных моделей.
Эти находки и успех демонстрации реального кремниевого чипа определённо изменят парадигму в мире машинного обучения, прокладывая путь к более быстрым, эффективным и, в конечном счёте, экологичным вычислениям.
Вам понравилось? Расскажите о своем опыте своим друзьям в социальных сетях. Пусть им понравится тоже!
Подпишитесь на нашу рассылку
Остались вопросы по качеству обучения?
Вы можете задать их любым удобным для вас способом:
Анкета по оценке удовлетворенности качеством оказания образовательных услуг общеобразовательной организацией
Оценить качествоНажимая кнопку «Подписаться», я даю согласие на обработку моих персональных данных согласно 152-ФЗ