| Marco | Дата: Четверг, 28.12.2023, 11:12 | Сообщение # 1 |
|
Генералиссимус
Группа: Администраторы
Сообщений: 1691
Offline
| Объяснено: Нейронные сети
Разрекламированная технология искусственного интеллекта, известная как “глубокое обучение”, возрождает идею 70-летней давности.
Ларри Хардести | Офис новостей MIT
Дата публикации:14 апреля 2017 г.
За последние 10 лет наиболее эффективные системы искусственного интеллекта, такие как распознаватели речи на смартфонах или новейший автоматический переводчик Google, были созданы благодаря методу, называемому “глубокое обучение”.
На самом деле глубокое обучение - это новое название подхода к искусственному интеллекту, называемого нейронными сетями, которые входят в моду и выходят из нее уже более 70 лет. Нейронные сети были впервые предложены в 1944 году Уорреном Маккалоу и Уолтером Питтсом, двумя исследователями Чикагского университета, которые перешли в Массачусетский технологический институт в 1952 году в качестве членов-основателей того, что иногда называют первым отделом когнитивных наук.
Нейронные сети были основной областью исследований как в нейробиологии, так и в информатике до 1969 года, когда, согласно computer science lore, они были уничтожены математиками Массачусетского технологического института Марвином Мински и Сеймуром Папертом, которые год спустя станут содиректорами новой лаборатории искусственного интеллекта Массачусетского технологического института.
Затем технология пережила возрождение в 1980-х годах, снова затмилась в первом десятилетии нового столетия и вернулась подобно гангстерам во втором, чему в значительной степени способствовала возросшая вычислительная мощность графических чипов.
“Есть идея, что идеи в науке немного похожи на эпидемии вирусов”, - говорит Томазо Поджио, профессор мозга и когнитивных наук имени Юджина Макдермотта в Массачусетском технологическом институте, исследователь Института исследований мозга Макговерна при Массачусетском технологическом институте и директор Центра мозга, разумов и машин при Массачусетском технологическом институте. “По-видимому, существует пять или шесть основных штаммов вирусов гриппа, и, по-видимому, период возвращения каждого из них составляет около 25 лет. Люди заражаются, у них вырабатывается иммунный ответ, и поэтому они не заражаются в течение следующих 25 лет. А затем появляется новое поколение, которое готово заразиться тем же штаммом вируса. В науке люди влюбляются в идею, приходят от нее в восторг, забивают ее до смерти, а затем получают иммунизацию — они устают от этого. Таким образом, идеи должны иметь такую же периодичность!”
Важные вопросы
Нейронные сети - это средство машинного обучения, при котором компьютер учится выполнять некоторую задачу путем анализа обучающих примеров. Обычно примеры заранее помечаются вручную. Системе распознавания объектов, например, могут быть предоставлены тысячи изображений автомобилей, домов, кофейных чашек и так далее с надписями, и она найдет на изображениях визуальные паттерны, которые последовательно коррелируют с конкретными надписями.
В общих чертах смоделированная по образцу человеческого мозга, нейронная сеть состоит из тысяч или даже миллионов простых обрабатывающих узлов, которые плотно взаимосвязаны. Большинство современных нейронных сетей организованы в слои узлов, и они работают по принципу “прямой связи”, что означает, что данные проходят через них только в одном направлении. Отдельный узел может быть подключен к нескольким узлам в слое под ним, от которых он получает данные, и к нескольким узлам в слое над ним, на который он отправляет данные.
Каждому из своих входящих подключений узел присваивает число, известное как “вес”. Когда сеть активна, узел получает другой элемент данных — другое число — по каждому из своих подключений и умножает его на соответствующий вес. Затем он складывает полученные произведения вместе, получая одно число. Если это число ниже порогового значения, узел не передает данные на следующий уровень. Если число превышает пороговое значение, узел “срабатывает”, что в современных нейронных сетях обычно означает отправку числа — суммы взвешенных входных данных — по всем своим исходящим соединениям.
При обучении нейронной сети все ее веса и пороговые значения изначально устанавливаются в случайные значения. Обучающие данные подаются на нижний уровень — входной уровень — и проходят через последующие слои, умножаясь и суммируясь сложными способами, пока, наконец, не поступают, радикально преобразованные, на выходной уровень. Во время обучения веса и пороговые значения постоянно корректируются до тех пор, пока обучающие данные с одинаковыми метками не будут стабильно давать аналогичные результаты.
Разумы и машины
Нейронные сети, описанные Маккалоу и Питтсом в 1944 году, имели пороговые значения и веса, но они не были разбиты на слои, и исследователи не указали никакого механизма обучения. Маккалоу и Питтс показали, что нейронная сеть в принципе может вычислять любую функцию, на которую способен цифровой компьютер. Результат был скорее нейробиологическим, чем компьютерным: суть заключалась в том, чтобы предположить, что человеческий мозг можно рассматривать как вычислительное устройство.
Нейронные сети продолжают оставаться ценным инструментом для нейробиологических исследований. Например, определенные схемы сети или правила настройки весов и пороговых значений воспроизвели наблюдаемые особенности нейроанатомии и познания человека, что указывает на то, что они улавливают что-то о том, как мозг обрабатывает информацию.
Первая обучаемая нейронная сеть, Персептрон, была продемонстрирована психологом Корнельского университета Фрэнком Розенблаттом в 1957 году. Дизайн персептрона был во многом похож на дизайн современной нейронной сети, за исключением того, что он имел только один слой с регулируемыми весами и пороговыми значениями, расположенный между входным и выходным слоями.
Персептроны были активной областью исследований как в психологии, так и в зарождающейся дисциплине информатики до 1959 года, когда Мински и Паперт опубликовали книгу под названием “Персептроны”, в которой было продемонстрировано, что выполнение некоторых довольно распространенных вычислений на персептронах будет непрактично трудоемким.
“Конечно, все эти ограничения в некотором роде исчезают, если вы используете оборудование немного посложнее — например, двухслойное”, - говорит Поджио. Но в то время книга оказала сдерживающее воздействие на исследования в области нейронных сетей.
“Вы должны рассматривать эти вещи в историческом контексте”, - говорит Поджио. “Они выступали за программирование - за языки, подобные Lisp. Не так много лет назад люди все еще использовали аналоговые компьютеры. В то время вообще не было ясно, что программирование - это правильный путь. Я думаю, они немного перестарались, но, как обычно, это не черно-белое. Если вы думаете об этом как о соревновании между аналоговыми и цифровыми вычислениями, то они боролись за то, что в то время было правильным. ”
Периодичность
Однако к 1980-м годам исследователи разработали алгоритмы для изменения весов и пороговых значений нейронных сетей, которые были достаточно эффективны для сетей с более чем одним уровнем, устранив многие ограничения, выявленные Мински и Папертом. В этой области произошел ренессанс.
Но с интеллектуальной точки зрения в нейронных сетях есть что-то неудовлетворительное. Достаточное обучение может изменить настройки сети до такой степени, что она сможет эффективно классифицировать данные, но что означают эти настройки? На какие особенности изображения смотрит распознаватель объектов и как он объединяет их в отличительные визуальные подписи автомобилей, домов и кофейных чашек? Анализ весов отдельных соединений не даст ответа на этот вопрос.
В последние годы ученые-компьютерщики начали разрабатывать оригинальные методы для вывода аналитических стратегий, принятых нейронными сетями. Но в 1980-х годах стратегии сетей были неразборчивы. Итак, на рубеже веков нейронные сети были вытеснены машинами опорных векторов - альтернативным подходом к машинному обучению, основанным на очень чистой и элегантной математике.
Недавнее возрождение нейронных сетей - революция глубокого обучения — произошло благодаря индустрии компьютерных игр. Сложные изображения и быстрый темп современных видеоигр требуют оборудования, способного идти в ногу со временем, и результатом стал графический процессор (GPU), который объединяет тысячи относительно простых вычислительных ядер на одном чипе. Исследователям не потребовалось много времени, чтобы понять, что архитектура графического процессора удивительно похожа на архитектуру нейронной сети.
Современные графические процессоры позволили однослойным сетям 1960-х и двух-трехслойным сетям 1980-х годов превратиться в современные 10-, 15- и даже 50-слойные сети. Вот что означает “глубина” в ”глубоком обучении" — глубина слоев сети. И в настоящее время глубокое обучение отвечает за создание наиболее эффективных систем практически во всех областях исследований искусственного интеллекта.
Под колпаком
Непрозрачность сетей по-прежнему беспокоит теоретиков, но в этом направлении тоже есть прогресс. Помимо руководства Центром изучения мозга, разумов и машин (CBMM), Поджио возглавляет исследовательскую программу центра в области теоретических основ интеллекта. Недавно Поджио и его коллеги из CBMM опубликовали теоретическое исследование нейронных сетей, состоящее из трех частей.
В первой части, которая была опубликована в прошлом месяце в Международном журнале автоматизации и вычислений, рассматривается диапазон вычислений, которые могут выполнять сети с глубоким обучением, и когда глубокие сети дают преимущества перед более мелкими. Части вторая и третья, которые были выпущены в виде технических отчетов CBMM, затрагивают проблемы глобальной оптимизации или гарантии того, что сеть нашла настройки, которые наилучшим образом соответствуют ее обучающим данным, и переоснащения, или случаи, когда сеть становится настолько настроенной на специфику своих обучающих данных, что ее невозможно обобщить на другие экземпляры тех же категорий.
Предстоит ответить еще на множество теоретических вопросов, но работа исследователей CBMM может помочь гарантировать, что нейронные сети, наконец, разорвут цикл смены поколений, который приносил им пользу на протяжении семи десятилетий.
Скоро новый год
|
| |
| |
