Стартап Etched анонсировал новый высокоскоростной чип, специализирующийся на трансформерах - Sohu

Американский стартап Etched анонсировал новый чип, который они собираются выпустить под названием Sohu. Чип строго специализирован для AI-моделей, базирующихся на трансформерной архитектуре, которые наиболее широко используются на современном рынке, и производится по техпроцессу TSMC 4 нм. Трансформерная архитектура записана непосредственно в чип, что значительно повышает его эффективность для этой конкретной архитектуры, но делает чип непригодным для других моделей с другими архитектурами, такими как CNN, LSTM или SSM. По данным Etched, 8-кратный сервер Sohu может быть таким же мощным, как 160 серверов NVIDIA H100.

Заявлено, что процессор Sohu будет в 10 раз быстрее и дешевле чипов NVIDIA Blackwell. Например, сервер Sohu может обрабатывать токены Llama 70B на 20 быстрее, чем сервер H100 ( 23 000 токенов в секунду), и на 10 быстрее, чем сервер B200 (~45 000 токенов в секунду).

Мотивом создания такого чипа является замедление закона Мура, приводящее к снижению эффективности чипов общего назначения. В настоящее время основные производители чипов занимаются тем, что увеличивают размер чипа. Единственное решение, которое видит Etched, - сосредоточиться на специализированных чипах, которые могут быть намного дешевле, проще в производстве и эффективнее. Аналогичный подход был применен в случае с чипами ASIC для майнинга криптовалют, которые оказались в 10-100 раз быстрее обычных GPU.

Основным принципом производительности чипов Sohu является упрощение аппаратного и программного конвейера - производители убирают все, что не имеет отношения к основной цели, как в программных, так и в аппаратных компонентах, делая чип узкоспециализированным.