Кафедра вычислительных систем
Спецкурс «Нейрокомпьютерные системы»

Традиционные (жесткие) вычислительные методы не обеспечивают достаточных возможностей для разработки и реализации интеллектуальных программных систем. Мягкие вычисления («вычислительный интеллект») образуют раздел искусственного интеллекта и допускают неточность, неопределенность и неполную истинность обрабатываемых данных. Методы мягких вычислений позволяют создавать практические средства построения интеллектуальных систем. Данный курс дает представление о достоинствах нейронных сетей, нечеткой логики, генетических алгоритмов и программ. Студенты получат необходимые знания о том, как применить вышеуказанные методы к конструированию конкретных приложений.

Нейронные сети способны обучаться распознаванию образов, пониманию речи, предсказанию погоды и управлению системами различной сложности. Эта новая технология должна сыграть важную роль в управлении энергетическими системами, индустриальными объектами, интеллектуальными роботами и во многих других практически важных приложениях. В частности нейронные сети интересны как основа для разработки параллельных архитектур.

Генетические алгоритмы полезны при решении многих важных проблем, в том числе нелинейных многомерных задач оптимизации. Данный курс рассматривает приложение генетических алгоритмов и программ к конструированию интеллектуальных систем; он включает в себя теоретические основы генетических алгоритмов, альтернативные модели генетического поиска, параллельные генетические алгоритмы и приложения генетических алгоритмов к оптимизации параметров и планированию.

Методы нечеткой логики могут быть использованы при разработке интеллектуальных систем на основе знаний, представленных естественным языком. Эта методология позволяет обрабатывать как символическую, так и численную информацию. Нечеткая логика может быть использована в управлении различными объектами и процессами. В сочетании с методами нейронных сетей методы нечеткой логики могут использоваться в построении адаптивных систем управления, устойчивых к ошибкам. В данном курсе рассматривается применение нечеткой логики и нейронных сетей к созданию нечетких систем и гибридных нейронно-нечетких систем.

Нейронные сети

  1. Введение в нейрокомпьютерные системы. Элементы нейронных сетей.

    Понятие нейронной сети (НС). История возникновения НС и перспективы их развития. Отличия НС от традиционных вычислительных систем.

    Задача четкого разделения двух классов на обучающей выборке. Разделение центров масс. Алгоритм обучения персептрона. Виды обучения. Геометрическая интерпретация задачи разделения двух классов. Аппроксимация функций. Адалайн. Паде-нейрон. Нейрон с квадратичным сумматором.

  2. Виды нейронных сетей и решаемые ими задачи.

    Реализация булевских функций посредством НС. Виды НС. Способы организации функционирования НС. Интерпретация ответов НС. Виды интерпретации. Оценка способности НС решить поставленную задачу. Константа Липшица сети. Метод обратного распространения ошибки.

  3. Методы оптимизации, используемые при обучении нейронных сетей.

    Особенности задачи оптимизации, возникающей при обучении НС. Выбор направления минимизации. Партан-методы. Одношаговый квазиньютоновский метод и сопряженные градиенты. Одномерная минимизация. Методы глобальной оптимизации. Использование случайных возмущений в обучении. Метод виртуальных частиц.

  4. Рекуррентные нейронные сети как устройства ассоциативной памяти .

    Нейронная сеть Хопфилда как ассоциативная память. Сеть Хемминга. Двунаправленная ассоциативная память.

  5. Решение задач комбинаторной оптимизации на нейронных сетях.

    Решение задачи коммивояжера на сети Хопфилда. Машина Больцмана.

  6. Самоорганизация нейронных сетей.

    Метод динамических ядер. Сети Кохонена.

  7. Контрастирование (редукция) нейронной сети.

    Оценка значимости параметров и сигналов.Сокращение числа входов в линейном сумматоре методом "снизу-вверх". Метод исключения параметров "сверху-вниз" с ортогонализацией. Бинаризация адаптивного сумматора.

  8. Методы реализации нейрокомпьютеров.

    Электронные методы реализации НС. Нейрочипы. Нейропроцессор NM6403. Оптические методы реализации НС.

Генетические алгоритмы

  1. Основные понятия генетических алгоритмов.

    Классический генетический алгоритм. Кодирование параметров задачи в генетическом алгоритме. Основная теорема о генетических алгоритмах.

  2. Модификации классического генетического алгоритма.

    Методы селекции и репродукции. Методы кодирования. Генетические алгоритмы для многокритериальной оптимизации. Решение комбинаторных задач с помощью генетических алгоритмов. Эволюционные алгоритмы.

  3. Эволюционные алгоритмы в нейронных сетях.

    Генетические алгоритмы для поддержки нейронных сетей. Применение генетических алгоритмов для обучения нейронных сетей. Генетические алгоритмы для выбора топологии нейронных сетей.

Нечеткие и гибридные системы

  1. Основные понятия и определения теории нечетких множеств.

    Операции на нечетких множествах. Меры нечеткости нечетких множеств. Нечеткость и вероятность. Нечеткие правила вывода.

  2. Системы нечеткого вывода Мамдани-Заде и Такаги-Сугено-Канга.

    Фазификатор. Дефазификатор. Модель Мамдани-Заде как универсальный аппроксиматор. Модель вывода Такаги-Сугено-Канга.

  3. Нечеткие нейронные сети.

    Структура нечеткой сети Такаги-Сугено-Канга. Гибридный алгоритм обучения нечетких сетей. Алгоритмы самоорганизации для обучения нечетких сетей.

Список литературы

  1. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере.- Новосибирск: Наука, 1996 г.

  2. Осовский С. Нейронные сети для обработки информации.-М.: Финансы и статистика, 2002.

  3. Уоссермен Ф. Нейрокомпьютерная техника. Теория и практика.- М.:Мир, 1992

  4. Каллан Р. Основные концепции нейронных сетей.-М.:Изд. Дом «Вильямс», 2001.

  5. Заенцев И.В. Нейронные сети. Основные модели.- Воронеж:ВГУ.-1999 г.

  6. Горбань А.Н. Обучение нейронных сетей.- М.: СП Параграф, 1990 г.

  7. Миркес Е.М. Нейрокомпьютер. Проект стандарта. – Новосибирск: Наука, 1999.

  8. Нейроинформатика/ А.Н.Горбань и др. – Новосибирск: Наука, 1998.

  9. Ачасова С.М. Вычисления на нейронных сетях (обзор)//Программирование.- 1991, N2.- С.40-53.

  10. Вороновский Г.К. и др. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. – Харьков: Основа.- 1997 г.

  11. Chevtchenko P.A., Fomine D.V., Tchernikov V.M., and Vixne P.E., Using of microprocessor NM6403 for neural net emulation// http://www.module.ru

  12. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика.- М.:Горячая линия – Телеком, 2002.

  13. Назаров А.В., Лоскутов А.И. Нейросетевые алгоритмы прогнозирования и оптимизации систем. – СПб.: Наука и Техника, 2003.

  14. Нейроматематика. Кн.6./Под ред. А.И.Галушкина.- М.:ИПЖР, 2002(Нейрокомпьютеры и их применение).

  15. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применение в экономике и бизнесе.- Москва, 1998.

  16. Минаев Ю.Н., Филимонова О.Ю., Бенамеур Лиес, Методы и алгоритмы решения задач идентификации и прогнозирования в условиях неопределенности в нейросетевом логическом базисе.- М.: Горячая линия – Телеком, 2003.

  17. Ярушкина Н.Г. Основы теории нечетких и гибридных систем.- М.:Финансы и статистика, 2004.

  18. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы.- М.: Горячая линия – Телеком, 2004.

  19. Комашинский В.И., Смирнов Д.А. Нейронные сети и их применение в системах управления и связи. – М.: Горячая линия – Телеком, 2003.

  20. Тарков М.С. Нейрокомпьютерные системы. – М.: Интернет-Ун-т Информ. Технологий : Бином. Лаборатория знаний, 2006. - 142 с.

poor mans design