Эволюционный потенциал. Часть 2

Синтезируем некую упрощенную программную модель нейрона. Оценочно мы должны пошагово обработать у каждого нейрона синапсы в виде 10 тыс однословных параметров, каждый со своим весовым коэффициентом с учетом предыдущих состояний и состоянием самого нейрона. Не будем использовать такие сложные модели как антагонистические рецептивные поля. Объемом вычислений по обработке сложных состояний типа PSTH самого нейрона можно пренебречь на фоне обработки 10 тыс. параметров. Оценим размеры каждого из параметров и коэффициентов в 1 слово. Его размерность в байтах нам не принципиальна, поскольку универсальные процессоры оперируют стандартными словами достаточно большой длины.

На каждый параметр получится извлечение по адресу двух и более переменных, их сложения/перемножения и запись результатов в память, также мы должны добавить на каждую операцию еще сравнение адресов с границами, сравнение параметров с граничными значениями и команды ветвлений. Для обычного компьютера на это уйдет 20—30 и более шагов, поскольку распараллеливание здесь не эффективно из-за сильной последовательной связанности действий. Добавив временную обработку достаточно сложного поведения нейронов, количество выполняемых команд увеличиться еще больше. Допустим, удастся использовать локальное распараллеливание операций и остановиться на 20 операциях на синапс. Предположим, что удастся эффективно распараллелить обработку нейронов.

Тогда на всю обработку 10 тыс. синапсов и 100 млрд нейронов за 10 мс потребуется 104*20*1011 = 2*1016 операций. И в 1 сек нужно обрабатывать 2*1018 операций.

Это в миллион раз превышает возможности вышеупомянутого компьютера. Понадобится работать, примерно 11 дней вместо 1 сек. В этом заключении нет ничего нового. Поэтому рассмотрим другой вариант: суперкомпьютер OLCF-5. Он производит 1018 операций/сек при заявленном распараллеливании до 106, потребляет 21 МВт, включает в себя 10 тыс процессоров компании AMD упомянутых ранее с 128 логическими ядрами на процессор и почти 40000 ускорителей. На логическое ядро с 4-мя ускорителями при распараллеливании приходится до 1012 операций/сек.

Пусть за счет распараллеливания обработке подвергаются сразу 106