IBM разработала энергоэффективный процессор для нейросетей. У каждого ядра чипа есть собственная память, что позволяет избежать обращения к обычной памяти. По заявлению IBM, при работе с популярными сверточными нейросетями этот новый процессор потребляет меньше энергии, чем любой другой чип на рынке.
Новый прототип микросхемы из лаборатории IBM Research в Калифорнии, работа над которым ведется уже давно, способен перевернуть представление о том, как и где эффективно используется искусственный интеллект. Новая архитектура чипов указывает на возможность создания более быстрого и энергоэффективного ИИ.
Мы находимся на пороге кембрийского взрыва в области ИИ. За последнее десятилетие ИИ прошел путь от теории и небольших испытаний до использования в масштабах предприятия. Однако аппаратное обеспечение, используемое для работы систем ИИ, хотя и становится все более мощным, не было разработано с учетом современных требований к ИИ. По мере масштабирования систем ИИ стоимость их резко возрастает. А закон Мура - теория, согласно которой плотность схем в процессорах удваивается каждый год, - замедлился.
Однако новое исследование, проведенное в лаборатории IBM Research в Альмадене (Калифорния), над которым работали почти два десятилетия, способно кардинально изменить подход к эффективному наращиванию мощных аппаратных систем ИИ.
С момента зарождения полупроводниковой промышленности компьютерные чипы в основном имели одну и ту же базовую структуру, в которой вычислительные блоки и память, хранящая обрабатываемую информацию, располагались дискретно. Хотя такая структура позволила создать более простые конструкции, которые хорошо масштабировались на протяжении десятилетий, она привела к возникновению так называемого "узкого места Неймана", когда требуется время и энергия для постоянного "перетасовывания данных" между памятью, процессором и другими устройствами внутри чипа.
Работа Дхармендры Модха из IBM Research и его коллег направлена на то, чтобы изменить эту ситуацию, черпая вдохновение в том, как вычисляет мозг. По словам Модхи, "это совершенно иной путь, чем архитектура Неймана".
В течение последних восьми лет Модха работал над созданием нового типа цифрового чипа ИИ для нейронных вычислений, который он назвал NorthPole. Он является продолжением TrueNorth, последнего чипа, вдохновленного мозгом, над которым Модха работал до 2014 года. В тестах на популярных моделях распознавания изображений ResNet-50 и обнаружения объектов YOLOv4 новый прототип устройства продемонстрировал более высокую энергоэффективность, большую занимаемую площадь и меньшую задержку, чем любой другой чип, представленный на рынке, и примерно в 4 000 раз быстрее, чем TrueNorth.
По словам Модхи, NorthPole - это прорыв в архитектуре чипов, обеспечивающий значительное улучшение энергетической, пространственной и временной эффективности.
Новый прототип микросхемы из лаборатории IBM Research в Калифорнии, работа над которым ведется уже давно, способен перевернуть представление о том, как и где эффективно используется искусственный интеллект. Новая архитектура чипов указывает на возможность создания более быстрого и энергоэффективного ИИ.
Мы находимся на пороге кембрийского взрыва в области ИИ. За последнее десятилетие ИИ прошел путь от теории и небольших испытаний до использования в масштабах предприятия. Однако аппаратное обеспечение, используемое для работы систем ИИ, хотя и становится все более мощным, не было разработано с учетом современных требований к ИИ. По мере масштабирования систем ИИ стоимость их резко возрастает. А закон Мура - теория, согласно которой плотность схем в процессорах удваивается каждый год, - замедлился.
Однако новое исследование, проведенное в лаборатории IBM Research в Альмадене (Калифорния), над которым работали почти два десятилетия, способно кардинально изменить подход к эффективному наращиванию мощных аппаратных систем ИИ.
С момента зарождения полупроводниковой промышленности компьютерные чипы в основном имели одну и ту же базовую структуру, в которой вычислительные блоки и память, хранящая обрабатываемую информацию, располагались дискретно. Хотя такая структура позволила создать более простые конструкции, которые хорошо масштабировались на протяжении десятилетий, она привела к возникновению так называемого "узкого места Неймана", когда требуется время и энергия для постоянного "перетасовывания данных" между памятью, процессором и другими устройствами внутри чипа.
Работа Дхармендры Модха из IBM Research и его коллег направлена на то, чтобы изменить эту ситуацию, черпая вдохновение в том, как вычисляет мозг. По словам Модхи, "это совершенно иной путь, чем архитектура Неймана".
В течение последних восьми лет Модха работал над созданием нового типа цифрового чипа ИИ для нейронных вычислений, который он назвал NorthPole. Он является продолжением TrueNorth, последнего чипа, вдохновленного мозгом, над которым Модха работал до 2014 года. В тестах на популярных моделях распознавания изображений ResNet-50 и обнаружения объектов YOLOv4 новый прототип устройства продемонстрировал более высокую энергоэффективность, большую занимаемую площадь и меньшую задержку, чем любой другой чип, представленный на рынке, и примерно в 4 000 раз быстрее, чем TrueNorth.
По словам Модхи, NorthPole - это прорыв в архитектуре чипов, обеспечивающий значительное улучшение энергетической, пространственной и временной эффективности.
Одно из главных отличий NorthPole заключается в том, что вся память устройства находится на самом чипе, а не подключается отдельно. Благодаря отсутствию этого узкого места Неймана чип может выполнять вычисления в области искусственного интеллекта значительно быстрее, чем другие чипы, уже представленные на рынке. NorthPole изготовлен по 12-нм техпроцессу и содержит 22 млрд. транзисторов на площади 800 кв. мм. Он имеет 256 ядер и способен выполнять 2048 операций на ядро за цикл с 8-битной точностью, с возможностью удвоения и увеличения в четыре раза количества операций с 4- и 2-битной точностью соответственно. "Это целая сеть на одном чипе", - сказал Модха.
Благодаря масштабированию NorthPole может поддерживать большие нейронные сети, разбивая их на более мелкие подсети, которые помещаются в память модели NorthPole, и соединяя эти подсети между собой на нескольких чипах NorthPole. Таким образом, несмотря на то, что на одном NorthPole (или на множестве NorthPole) достаточно памяти для многих моделей, которые могут быть полезны для конкретных приложений, этот чип не предназначен быть универсальным помощником. "Мы не можем запустить на нем GPT-4, но мы могли бы обслуживать многие модели, необходимые предприятиям", - сказал Модха. "И, конечно же, NorthPole предназначен только для вычислений".
Такая эффективность означает, что для работы устройства также не нужны громоздкие системы жидкостного охлаждения - вентиляторов и радиаторов более чем достаточно, а это значит, что его можно развернуть в довольно небольших помещениях.
Такая эффективность означает, что для работы устройства также не нужны громоздкие системы жидкостного охлаждения - вентиляторов и радиаторов более чем достаточно, а это значит, что его можно развернуть в довольно небольших помещениях.
Потенциальные области применения NorthPole
Хотя исследования чипа NorthPole еще продолжаются, его структура позволяет использовать его как в новых, так и в более устоявшихся областях применения ИИ.
При тестировании NorthPole команда сосредоточилась, прежде всего, на применении, связанном с компьютерным зрением, отчасти потому, что финансирование проекта осуществлялось Министерством обороны США. В первую очередь рассматривались такие области применения, как обнаружение, сегментация изображений и классификация видео. Однако тестирование проводилось и в других областях, таких как обработка естественного языка (на модели BERT, использующей только кодер) и распознавание речи (на модели DeepSpeech2). В настоящее время команда изучает возможность применения больших языковых моделей, использующих только декодер, в масштабируемых системах NorthPole.
Когда думаешь об этих задачах ИИ, на ум приходят самые разные фантастические сценарии использования: автономные транспортные средства, робототехника, цифровые помощники или пространственные вычисления. Для многих приложений, требующих обработки огромных объемов данных в реальном времени, NorthPole может оказаться весьма подходящим решением. Например, он может стать тем самым устройством, которое необходимо для перехода от автономных автомобилей, которым для работы в небольших масштабах требуются заданные карты и маршруты, к машинам, способным думать и реагировать на редкие внешние ситуации, которые делают навигацию в реальном мире настолько сложной даже для опытных водителей. Именно для таких ситуаций и предназначены будущие приложения NorthPole. NorthPole позволяет использовать спутники для мониторинга сельского хозяйства и управления популяциями диких животных, мониторинга транспортных средств и грузов для повышения безопасности и снижения перегруженности дорог, безопасного управления роботами и обнаружения киберугроз для повышения безопасности бизнеса.
Планируется показать, на что способна NorthPole, а также изучить возможности перевода разработок на производство микросхем меньшего размера и продолжить исследование архитектурных возможностей.
При тестировании NorthPole команда сосредоточилась, прежде всего, на применении, связанном с компьютерным зрением, отчасти потому, что финансирование проекта осуществлялось Министерством обороны США. В первую очередь рассматривались такие области применения, как обнаружение, сегментация изображений и классификация видео. Однако тестирование проводилось и в других областях, таких как обработка естественного языка (на модели BERT, использующей только кодер) и распознавание речи (на модели DeepSpeech2). В настоящее время команда изучает возможность применения больших языковых моделей, использующих только декодер, в масштабируемых системах NorthPole.
Когда думаешь об этих задачах ИИ, на ум приходят самые разные фантастические сценарии использования: автономные транспортные средства, робототехника, цифровые помощники или пространственные вычисления. Для многих приложений, требующих обработки огромных объемов данных в реальном времени, NorthPole может оказаться весьма подходящим решением. Например, он может стать тем самым устройством, которое необходимо для перехода от автономных автомобилей, которым для работы в небольших масштабах требуются заданные карты и маршруты, к машинам, способным думать и реагировать на редкие внешние ситуации, которые делают навигацию в реальном мире настолько сложной даже для опытных водителей. Именно для таких ситуаций и предназначены будущие приложения NorthPole. NorthPole позволяет использовать спутники для мониторинга сельского хозяйства и управления популяциями диких животных, мониторинга транспортных средств и грузов для повышения безопасности и снижения перегруженности дорог, безопасного управления роботами и обнаружения киберугроз для повышения безопасности бизнеса.
Планируется показать, на что способна NorthPole, а также изучить возможности перевода разработок на производство микросхем меньшего размера и продолжить исследование архитектурных возможностей.
