Năm 1957, Frank Rosenblatt bắt đầu nghiên cứu về mạng Perceptron và đã thành công trong việc thiết kế Mark I Perceptron neurocomputer, đó là mạng neuron cổ điển nhất vẫn còn sử dụng tới ngày nay [11]. Năm 1959, Bernard Widrow và Marcian Hoff đã xây dựng mạng ADALINE, nó là áp dụng đầu tiên của mạng neuron vào thực tế để dập tiếng vọng trên đường dây điện thoại. Năm 1967, Avalanche áp dụng các mạng neuron vào việc nhận dạng giọng nói, điều khiển motor và một số ứng dụng khác. Từ năm 1969 đến 1981 mạng neuron rơi vào trạngthái im lặng cả về nghiên cứu và ứng dụng. Tuy nhiên, có thể kể đến các bài báo của Marvin Minsky và Seymour Papert bình luận về mạng Perceptron, các nghiên cứu về quá trình học của mạng nhiều lớp, mạng tự tổ chức (Self Organization) của Teuvo Kohonen, mạng kiểu bộ nhớ kết hợp (BAM– Bidirectional Associative Memory) của Anderson và mạng ART (Adaptive Resonance Theory neural networks) của Capenter [2].