Египетские папирусы, содержащие рассуждения о природе мозга, датируются концом второго тысячелетия до н. э., с тех пор и на протяжении последующих веков к устройству и работе мозга проявляли интерес философы, и медики. В XX веке этой проблемой вплотную занялись нейрофизиологи, ими была разработана принятая на сегодня теория мозга. Считается, что небольшие нервные сети (neural circuit) объединяются в более крупные мозговые структуры (large-scale brain networks), а из них образуется мозг как единый орган. Обратим внимание на употребление в английском двух близких слов circuit и network, они переводятся на русский одним словом «сеть». Но в данном случае circuit – это сетевая структура меньшего размера, из множества circuit образуются network – сети большего размера. Есть компьютерная терминологическая аналогия, мы обычно переводим integrated circuit как интегральная микросхема, заменяя сеть микросхемой, но computer network переводим как компьютерная сеть. Еще одно терминологическое замечание, оно связано с тем, что, когда Уоррен Мак-Каллок и Уолтер Питтс выдвинули идею о возможности моделирования работы мозга сетью, состоящей из искусственных нейронов, они назвали такой тип сети Artificial neural network (ANN). Слово neural переводится на русский язык как нервный, а neuronal как нейронный, то есть ANN в оригинале искусственная нервная сеть, но по-русски приято переводить ANN как «искусственная нейронная сеть», что возможно точнее соответствует реальности.
Мак-Каллок и Питтс посвятили свою научную деятельность созданию формальных методов моделирования человеческого мозга, одним из ее результатов стало новое направление, обычно называемое коннекционизмом. В контексте AI оно рассматривается как альтернатива символьному подходу, но следует иметь в виду, что существует и более широкая философская трактовка термина коннекционизм. В этом случае под ним понимается одно из направлений в когнитивистике (от cognitio «познание»), науке, объединяющей теорию информационных процессов с теорией познания, когнитивной психологией, нейрофизиологией и когнитивной лингвистикой. Ключевым моментом, отличающим это направление когнитивистики от классической направлений этой науки, является опора на параллельные системы и на статистику, а не на последовательные системы и логические правила. Среди представителей когнитивистики нет единства мнений на сей предмет: одни склоняются к традиционным теориям, считая, что нейронная сеть подобна символическому процессору и для ее моделирования можно использовать программирование, но есть и более радикальные коннекционисты, утверждающие, что классическое программирование их целям не соответствует, они выбирают методы обучения.
Оставим возможность разбираться с этими разногласиями философам, а сами ограничимся тем, что будем считать в узком смысле коннекционизмом теоретический базис для того подхода к созданию AI, названному Тьюрингом «снизу-вверх», а машинное обучение будем рассматривать как альтернативу программированию. Что касается параллельных систем, то современный компьютинг к ним еще не готов, использование кластеров на графических процессорах (GPU) временное решение, по-английски stub, хотя насколько оно временно сказать сложно.
Предшественники коннекционизма