NPU в ноутбуках: новые требования к корпоративной технике

В последнее время наблюдается сдвиг к гибридной архитектуре, при которой тяжёлое остаётся в облаке, а массовые задачи разъезжаются по устройствам сотрудников. Это меняет работу тех, кто такой парк закупает и обслуживает, поскольку добавляются требования к памяти и поддержке конкретных ИИ-фреймворков.

Подробности

NPU в ноутбуках позволяет выполнять ИИ-нагрузки напрямую на устройстве, без необходимости использования облачных GPU. Однако, как показали бенчмарки, NPU в ноутбуке AMD Ryzen AI 300 проиграл универсальному GPU на задаче, под которую его затачивали. Это связано с тем, что NPU отличается от соседей по чипу своей специализацией на ИИ-задачах, что требует большего количества памяти.

Что делать

Для тех, кто закупает и обслуживает корпоративную технику, рекомендуется обратить внимание на следующие факторы: поддержка конкретных ИИ-фреймворков, требования к памяти и возможность доставки и обновления моделей на устройствах. Также важно оценить возможности NPU в ноутбуках и сравнить их с облачными решениями, чтобы выбрать наиболее подходящее решение для своих нужд. Итог: сдвиг к гибридной архитектуре меняет требования к корпоративной технике, и важно учитывать эти изменения при закупке и обслуживании устройств. Новые возможности NPU в ноутбуках открывают перспективы для ИИ-нагрузок, но требуют тщательного рассмотрения требований к памяти и поддержке конкретных ИИ-фреймворков.

Источник: Хабр — Системное администрирование