1. Введение в проблему
Откуда взялись нейронные сети и чем они нас не устраивают?
Начало развитию искусственных нейронных сетей положили работы Тьюринга, Мак-Каллока, Питтса и Хебба. На основе их идей Фрэнк Розенблатт в 1958 г. создал первую искусственную нейронную сеть «Персептрон», способную после соответствующего обучения распознавать и на основе распознавания классифицировать разные объекты. К сожалению, в самой концепции персептрона была заложена критическая ошибка, основанная на господствовавшей тогда биологической доктрине Дэйла: «…нейрон использует один и только один нейромедиатор для всех синапсов». Эта доктрина была перенесена во все искусственные нейросети в виде правила: «…один искусственный синапс использует один и только один синаптический вес». Это правило можно назвать доктриной Розенблатта.
В 70-х гг. XX века доктрина Дэйла была отвергнута биологией. А доктрина Розенблатта, к сожалению, до сегодняшнего дня остается неизменной для всех нейронных сетей («рекуррентных», «резонансных», «глубоких», «сверточных», «LSTM», «генеративных», сетей прямого и обратного распространения ошибки и т. п.). Именно она заставляет применять при тренинге сетей итерационный подход, известный как метод градиентного спуска (gradient descent method), требующий огромного объема вычислений. И именно эта доктрина «виновата» в невозможности построить адекватную рабочую теорию нейронных сетей. А также в том, что эти сети характеризуются непрозрачностью и непонятностью, сравнительно низкой скоростью обучения, сложностью доучивания и множеством других «врожденных» проблем. Подробнее о проблемах классических нейронных сетей см. Приложение 1.
Поэтому развитие таких сетей идет в основном методом проб и ошибок. А это ведет к сложности и малой надежности, необходимости использования очень дорогого оборудования, проведения энергоемких вычислений и дорогостоящей ручной работы для обучения.
Критическая «ошибка Розенблатта» была обнаружена исследователями (специалистами по ТРИЗ) deep tech компании Progress Inc. Они же нашли решение, позволяющее исключить эту ошибку. Это позволило создать принципиально новый вид нейронных сетей, названный PANN (Progress Artificial Neural Network). PANN и их работа прозрачны, предсказуемы, требуют в тысячи раз меньших затрат и обеспечивают лучшее решение многих интеллектуальных задач. Идеи PANN защищены 18 патентами во многих странах мира. На основании этих идей уже создано и протестировано несколько вариантов новых софтверов.
2. Научно-технические основы сети PANN
В данной главе мы расскажем об основных конструктивных и научных особенностях сети PANN.
PANN отличается от классических нейронных сетей иной конструкцией главного элемента: так называемого формального нейрона. Новый формальный нейрон позволяет использовать другой способ обучения. В результате:
1. Работа сети стала совершенно прозрачной. Стало возможным построить простую и ясную теорию, предсказывающую результаты действий с нею.
2. PANN может быть реализована на недорогом оборудовании. Расходы на ее обучение и функционирование во много раз меньше, чем у классических нейронных сетей.
3. PANN обучается во много раз быстрее классических нейронных сетей.
4. PANN может в любое время доучиваться.
5. У PANN отсутствует вредный эффект «переобучения».
2.1. НОВАЯ КОНСТРУКЦИЯ ФОРМАЛЬНОГО НЕЙРОНА
Классические нейронные сети построены из типовых «кирпичей» – формальных нейронов простой конструкции, описанных Мак-Каллоком и Питтсом и реализованных Розенблаттом. И главная проблема нейронных сетей – неудачная конструкция этого формального нейрона.
Формальный нейрон Розенблатта имеет один синаптический вес. Главным отличием PANN является формальный нейрон Progress с двумя или более синаптическими весами на каждом синапсе.
Рис. 1. Сравнение формальных нейронов
На нейроне Progress, как и на нейроне Розенблатта, входные сигналы проходят к сумматору через единственный синаптический вес. Но на нейроне Progress выбор этого веса осуществляется дистрибьютором по величине входного сигнала.
Главные характеристики, описывающие нейрон Progress
• Нейрон Progress оперирует с имиджами, в качестве которых рассматриваются любые числовые (цифровые) последовательности. Такими имиджами могут быть картинки, фильмы, тексты, записи звуков, таблицы, графики и т. п.
• Каждый нейрон Progress связан со всеми входами в сеть. Число входов равно числу цифр в рассматриваемой цифровой последовательности (имидже). Для имиджей в растровой графике это число пикселей. Например, при разрешении 16 × 16 число входов I = 256, при разрешении 32 × 32 число входов I = 1024.
• Число синаптических весов нейрона Progress не менее двух. При работе с черно-белой графикой и простыми таблицами возможно использовать только 2 веса («0» и «1»). При работе с цветными картинками можно использовать любые графические представления, например палитры из 2, 4, 8, 16, 256 и т. д. цветов (весов). Следует отметить, что для эффективного распознавания разных типов имиджей существуют свои оптимальные палитры, которые несложно определить простым тестированием. При этом проявляется неожиданное свойство PANN – оптимальное для распознавания число цветов обычно мало, в экспериментах это число получалось обычно в районе от 6 до 10.
• Число входов – это число членов рассматриваемой цифровой последовательности. Для имиджей в растровой графике это – число пикселей, которое должно быть одинаковым для всех рассматриваемых имиджей. Например, при разрешении 16 × 16 число входов I = 256, при разрешении 32 × 32 число входов I = 1024. При работе с картинками можно использовать любые соотношения сторон прямоугольных картинок. Следует отметить, что, аналогично, для эффективного распознавания разных типов имиджей существуют свои оптимальные разрешения, которые несложно определить простым тестированием. При этом проявляется неожиданное свойство PANN – оптимальное для распознавания число пикселей обычно невелико, например для распознавания разного рода портретов часто наилучшим оказывается разрешение всего 32 × 32.
