Мозг IBM

ChatGPT, DALL-E, Stable Diffusion и другие генеративные ИИ покорили мир. Они создают сказочные стихи и образы. Они проникают во все уголки нашего мира: от маркетинга до написания юридических записок и открытия лекарств. Они кажутся образцом истории успеха слияния разума человека и машины.

Но под капотом дела обстоят не так радужно. Эти системы являются огромными энергопожирателями, требующими центров обработки данных, которые выбрасывают тысячи тонн выбросов углекислого газа, что еще больше усиливает и без того нестабильный климат, и поглощают миллиарды долларов. Поскольку нейронные сети станут более сложными и более широко используемыми, потребление энергии, вероятно, возрастет еще больше.

Много чернил было пролито на углеродный след генеративного ИИ. Спрос на энергию может привести к ее падению, препятствуя развитию по мере ее дальнейшего роста. При использовании современного оборудования генеративный ИИ «скоро застопорится, если продолжит полагаться на стандартное вычислительное оборудование», — сказал доктор Хечен Ван из Intel Labs.

Пришло время создать устойчивый ИИ.

На этой неделе исследование IBM сделало практический шаг в этом направлении. Они создали 14-нанометровый аналоговый чип, оснащенный 35 миллионами единиц памяти. В отличие от нынешних чипов, вычисления происходят непосредственно внутри этих блоков, что устраняет необходимость передачи данных туда и обратно, что, в свою очередь, экономит энергию.

По словам Вана, передача данных может увеличить потребление энергии от 3 до 10 000 раз по сравнению с тем, что требуется для реальных вычислений.

Чип оказался очень эффективным при выполнении двух задач по распознаванию речи. Один из них, Google Speech Commands, небольшой, но практичный. Здесь скорость имеет решающее значение. Другой, Librispeech, представляет собой гигантскую систему, которая помогает транскрибировать речь в текст, требуя от чипа возможности обрабатывать огромные объемы данных.

При сравнении с обычными компьютерами чип работал так же точно, но выполнял работу быстрее и с гораздо меньшими затратами энергии, используя менее одной десятой того, что обычно требуется для некоторых задач.

«Насколько нам известно, это первая демонстрация коммерчески значимого уровня точности на коммерчески значимой модели… с эффективностью и массовым параллелизмом» для аналогового чипа, — заявила команда.

Это едва ли не первый аналоговый чип. Однако это выводит идею нейроморфных вычислений в сферу практичности — чипа, который однажды сможет питать ваш телефон, умный дом и другие устройства с эффективностью, близкой к эффективности мозга.

Эм, что? Давайте сделаем резервную копию.

Современные компьютеры построены на архитектуре фон Неймана. Думайте об этом как о доме с несколькими комнатами. Один из них, центральный процессор (ЦП), анализирует данные. Другой хранит память.

Для каждого расчета компьютеру необходимо перемещать данные туда и обратно между этими двумя комнатами, а это требует времени и энергии и снижает эффективность.

Мозг, напротив, объединяет в себе и вычисления, и память в квартире-студии. Его грибовидные соединения, называемые синапсами, образуют нейронные сети и хранят воспоминания в одном и том же месте. Синапсы очень гибки и регулируют степень своей связи с другими нейронами на основе сохраненной памяти и новых знаний — свойство, называемое «весами». Наш мозг быстро адаптируется к постоянно меняющейся среде, регулируя синаптические веса.

IBM находится в авангарде разработки аналоговых чипов, имитирующих вычисления мозга. Прорыв произошел в 2016 году, когда они представили чип, основанный на удивительном материале, который обычно можно найти на перезаписываемых компакт-дисках. Материал меняет свое физическое состояние и форму от липкого супа до кристаллоподобных структур при воздействии электричества — это похоже на цифровые 0 и 1.

Вот ключ: чип также может существовать в гибридном состоянии. Другими словами, искусственный синапс, подобно биологическому синапсу, может кодировать множество различных весов (не только двоичных), что позволяет ему накапливать многочисленные вычисления без необходимости перемещать ни одного бита данных.

Новое исследование основано на предыдущей работе с использованием материалов с фазовым переходом. Базовыми компонентами являются «плитки памяти». Каждый из них наполнен тысячами материалов с фазовым переходом в решетчатой ​​структуре. Плитки легко взаимодействуют друг с другом.