對這個問題的回答依賴於我們所說的“計算機”是指什麽東西。今天大多數的計算機都是數字的，並且每次都以極高的速度執行一條（或幾條）指令集。而人類的大腦結合使用數字和模擬的方法，它會在模擬（連續）區域通過使用神經遞質和相關機製來執行大部分的計算。雖然這些神經元以極其緩慢的速度（通常是每秒200次）執行計算，但是大腦整體上是大規模並行的：大多數的神經元都在同一時間工作，這使得多達100萬億次計算同步進行。
人類大腦的大規模並行機製是其模式識別能力的關鍵，而模式識別正是人類思維的支柱之一。哺乳動物的神經元顯得有些混亂（有許多明顯隨機的相互作用），如果神經網絡已經訓練得很好，那麽一個反映網絡決策的穩定格局就會出現。當前，計算機的並行設計還比較有限。但並沒有理由說明與生物神經網絡功能相當的非生物再創造無法使用這些原則。的確，全世界數十次的努力已經成功地完成了這些事。我的技術領域就是模式識別，而且我在四十年裏所涉及的工程項目中也一直使用這種可訓練性且具有不確定性的計算方式。
通過利用有足夠能力的通用計算，很多大腦特有的組織方法可以有效地模擬出來。我相信複製自然的設計範式將成為未來計算的主要趨勢。我們也應該牢記，數字計算可以與模擬計算功能等效，也就是說，我們可以用全數字計算機執行一個數字模擬網絡所有的功能。而反過來是不正確的：我們不能用一個模擬計算機來模擬一個數字計算機的所有功能。
然而，模擬計算的確有一個工程上的優勢：它的潛在效率是現在的數千倍。模擬計算可以在幾個晶體管中或在哺乳動物神經細胞裏，以及特殊的電化學過程中執行。相反的是，數字計算則需要成千上萬個晶體管。另一方麵，這種優勢將被基於計算的數字仿真所抵消，因為數字計算機可以輕易地進行設計（和修改）。
大腦區別於傳統計算機的關鍵方式還有很多：
●大腦的電路非常緩慢。突觸複位和神經元穩定的時間（在神經元放電後，神經元及其突觸的重置時間）如此漫長，以致幾乎沒有神經元放電周期可以進行模式識別。功能性磁共振成像（fmri）和腦磁圖描記術（meg）掃描顯示，不需要解決語義含糊的判斷似乎是在單個神經元放電周期（小於20毫秒）內製造的，而且基本上沒有涉及迭代（重複）進程。物體識別需要約150毫秒，以致即使我們“在思考有些事”，但是運作周期數最多也隻是以數百或數千衡量，而不是像是一台標準的計算機那樣，以數十億計算。
●但它是大規模並行的。大腦相當於100萬億神經元間的相互連接，它們都可能在同時處理信息。正如我們前麵討論過的，這兩個因素（較長的周期和大規模並行）引起了一定程度的大腦計算能力。
今天，我們最大的超級計算機正在接近這個範圍。最先進的超級計算機（包括那些用於最流行的搜索引擎的計算機）超過了10<small>14</small>cps準則，這與我在第3章討論功能仿真的估計相匹配。不過，沒有必要采用和大腦相同的並行化處理的粒度，而隻要我們配合整體的運算速度和存儲容量的需要就可以，否則就需要模擬大腦的大規模並行結構。
●大腦模擬和數字相結合的現象。大腦連接的拓撲結構本質上是數字的——無論連接存在還是不存在。而軸突放電則不全是數字的，但接近於一個數字的過程。大腦中幾乎大部分的功能都是模擬的，充滿著非線性（在產出方麵的突然變化，而不是平穩變化），非線性實質上比我們已經在神經元中利用的經典模型還要複雜。然而，詳細的非線性神經元動力學和神經元的組成（樹突、棘、通道和軸突）可以通過非線性係統的數學來模擬。這些數學模型能夠在數字電腦上模擬到任何所需的準確程度。正如我所說的，如果我們使用晶體管以本地模擬的方式來模擬神經區域，而不是通過數字計算，那麽這種方法可以使能力提高3個或4個數量級，這一點卡福·密德已經給出證明。<small>13</small>
●大腦自身線路重鋪。樹突不斷掃描新的棘和突觸，而樹突和突觸的拓撲結構和傳導性還會不斷調整。神經係統在其組織的各個層次上都是自組織的。在計算機化的模式識別係統（例如神經網絡與馬爾可夫模型）中應用的數學方法比在大腦中所用的簡單，而我們在自組織模式上確實有大量的工程經驗。<small>14</small>當代計算機不能逐字地重複本身（盡管新出現的“自我修複係統”已經開始這樣做），但我們可以有效地模擬這個軟件過程。 <small>15</small>在軟件中實施自組織會有優勢，因為它會為程序員提供更多的靈活性，而在未來我們也可以在硬件中實現這一點。
●大腦中的大部分細節都是隨機的。雖然在大腦的每個方麵都有許多隨機（在嚴格控製下的隨機）過程，我們沒有必要模仿每個軸突表麵的所有“漣漪”，至多需要在了解了計算機操作原理的情況下模仿每個晶體管表麵的所有微小差異。但某些細節對於解碼大腦操作的原則是很關鍵的，這迫使我們必須將它們和那些包含隨機“噪音”或混亂細節加以區分。神經功能中混亂（隨機和難以預料的）的部分可以通過利用複雜性理論和混沌理論的數學方法進行建模。<small>16</small>
●大腦運用浮現特性。智能行為是大腦混亂和複雜活動的突顯特征。對比白蟻和螞蟻巢穴的智能化設計，考慮它們精心構建的互聯隧道和通風係統。盡管這些都是靈巧、複雜的設計，但螞蟻和白蟻群裏卻並沒有建築專家。這些建築都是由所有巢穴成員不可預測的互動建造起來的，每個成員都依照一些相對簡單的規則執行。
●大腦是不完善的。這是複雜自適應係統的本性，其決策所表現的智能是次最佳的。（也就是說，相對於其要素的優化配置所表現的智能相比，它反映了較低級別的智能。）它隻需要足夠好，這對我們人類而言就意味著已經有充足的智力水平，使我們能夠騙過在生態中與我們相類似的對手（例如，靈長類動物也結合了相對應的附屬品所帶來的認知功能，但其大腦沒有人類那樣發達，它們的手也沒有人類的那麽適用）。
●我們自我違背。各種各樣的思想和方法，包括那些相衝突的，最終造就了卓越的成果。我們的大腦完全能夠持矛盾的觀點。事實上，我們依靠內部的多樣性而蓬勃發展。在這點上可以考慮與人類社會相對比，社會有其解決多種觀點的建設性方法。
●大腦運用進化。大腦使用的基本的學習模式是漸進的：理解世界最成功，對認知和決策作出貢獻的連接模式會幸存下來。一個新生兒的大腦主要包含隨機聯係的神經元連接，隻有一部分新生兒一生下來就擁有兩歲小孩的大腦智力。<small>17</small>
●這些模式很重要。這些混亂的自組織方法的某些細節是至關重要的，它們是以模式約束（確定初始條件規則和自組織方式）的形式顯示出來的，而最初在約束中的許多細節都是任意設置的，係統然後進行自組織並逐步表現出已提交給係統的信息的不變特征。所產生的信息在特定的節點或連接中找不到，相反的，這是一個分布式的模式。
●大腦是全息的。全息圖中的分散信息和大腦網絡中信息的表現形式有類似之處。我們也在用於計算機模式識別的自組織方法（例如：神經網絡、馬爾可夫模型和遺傳算法）中發現了這一點。<small>18</small>
●大腦是密切聯係的。大腦從一個深層的連接網絡中得到恢複力，在這個網絡中的信息從一個點轉到另外一點的方式有很多種。拿互聯網來作類比，隨著其組成節點的數量增加，網絡已變得越來越穩定。節點，甚至互聯網整個樞紐，可以變得不起作用，而整個網絡卻不會因此而癱瘓。同樣，我們不斷喪失神經元，但這並沒有影響到整個大腦的完整性。
●大腦的確有一個區域的架構。雖然區域內的連接細節最初是隨機約束的，而且這些細節還是自組織的，但是仍然有一個區域架構，它使得幾百個有特定連接模式的區域執行特定的功能。
●一個大腦區域的設計比一個神經元的設計還要簡單。在更高層次的模擬常常會更簡單，而不是更複雜。類比一台計算機，如果我們要模擬一個晶體管，我們需要詳細了解半導體物理學原理，而一個真正的晶體管所隱藏的方程是很複雜的。然而，在兩個數字相乘的數字電路中，雖然涉及數百個晶體管，但模擬起來卻更簡單，隻涉及少數公式。一個由數十億個晶體管組成的計算機可以通過其指令集和寄存器描述來模擬，而這些可以由少量的文字和數學變換來描述。
一個操作係統、語言編譯器和組譯器的軟件程序是複雜的，但模擬特定程序——例如，以馬爾可夫模型為基礎的語音識別係統——卻可能用短短幾頁的方程就能描述。這種描述沒有任何地方需要半導體物理學的細節。類似的觀察也適用於大腦。一個特定的神經排列用來檢測一個特定不變的視覺特征（例如臉），或執行一個作用於聽覺信息或計算兩個事件時間接近性的帶通濾波（限製輸入到一個特定的頻率範圍），這些都可以描述得遠比實際物理和化學的關係（控製神經遞質和其他突觸和樹突在各自程序中所涉及的變量）要簡單。雖然在推進到下一個更高的水平（模擬大腦）前，這種神經的複雜性都必須仔細研究，但是，一旦理解了大腦的工作原理，其中很大一部分都可以得到簡化。
努力去理解我們的想法
不斷加快研究步伐
我們對人類大腦的研究步伐正不斷加快，現在已不斷接近這條曲線的拐點（這是一個呈指數增長的快速發展時期），但在這之前我們曾有過無數次的研究嚐試。反思和建立人類思維模型的能力是我們人類特有的一種屬性。基於對人類外在行為的簡單觀察，我們建立了早期的人類思維模型（例如，亞裏士多德在2350年前所寫的對人類聯想能力的分析）。<small>19</small>
在20世紀初期，我們開發了研究人類大腦內部物理活動的工具。一個早期的突破就是對神經細胞電流產出的測量，這是由神經科學的先驅艾德裏安在1928年開發的，它表明了在人類大腦內部有電流活動發生。<small>20</small>正如他所寫道：我在蟾蜍的視神經上安放了一些電極，準備做一些與視網膜有關的實驗。房間幾乎是全黑的，鏈接到擴音器的喇叭裏反複傳出的一些聲音讓我感到很困惑，而這些聲音表明有大量的神經脈衝活動在進行。直到在比較了這些聲音與我在屋子裏的活動之後，我才意識到我正處在蟾蜍的視野之內，而這些聲音就是對我正在做的事情的一種反應信號。
艾德裏安從這個實驗中得到的重要觀點仍然是今天神經科學的基石，感覺神經脈衝的頻率與可以被測量的感覺強度成正比，例如，光線越強，從視網膜傳到大腦的神經脈衝頻率（每秒的脈衝）越快。艾德裏安的學生，賀拉斯·巴羅由於發現青蛙和兔子的視網膜裏有單獨的神經元能觸發“感知到”具體的形狀、方向和速度，從而提出了這一領域延續至今的另一個很重要的觀點：神經細胞的“觸發功能”。換句話說，感覺包含一係列神經元層次，每一層次的神經元都能感知到更複雜的圖像特征。
從1939年開始，我們開始形成神經元工作原理的思想。通過積累（增加）外界的輸入，然後在神經元的膜層上產生電導（這種電導在神經元的細胞膜上突然增多用以傳遞信號），沿著神經元的軸突傳導信號（軸突是通過一個突觸與其他的神經元相聯係）。霍其金和赫胥黎在研究軸突時將其稱為“動作電位理論”（電壓）<small>21</small>。他們還在1952年就動物的神經軸突的動作電位進行了實際測量。他們選擇了墨魚的神經元，因為它們的大小和可解剖性很合適這個實驗。
在1943年，邁克路和匹茲在霍其金和赫胥黎觀點的基礎上建立了一個神經網絡的簡化模型，此舉激發了半個世紀對於人造（模擬的）神經網絡（使用計算機程序來模擬神經元在大腦中的工作網絡）的研究。霍其金和赫胥黎於1952年進一步完善了該模型。盡管我們現在認識到真正的神經元要比最初的這些模型複雜得多，但這些早期概念卻得到了認可。對每個神經元突觸來說，這一基本神經網絡模型都有一個神經的“重量”（代表連接的力量），而對神經元細胞體來說，這一基本的神經網絡模型就是一個非線性的發射閾值。
隨著神經元細胞體接收的外界輸入總和的增加，在達到臨界值之前基本上是沒有神經元會做出反應的，因為在此時，神經細胞會迅速增加其軸突和放電。不同的神經元有不同的臨界值。雖然最近的研究表明神經元的真實反應要比這更複雜，但邁克洛-匹茲和霍其金-赫胥黎的模型仍然是有效的。<small>22</small>
這些觀點引領了人工神經網絡的大量早期工作，使這個領域為眾人所知。這也許是第一個計算機領域自組織的典範。
自組織係統的一個關鍵要求就是非線性：一些創造的產出不是通過簡單地投入總和得到的。早期的神經網絡模型在神經細胞的副本中是非線性的。<small>23</small>（基本神經網絡的方法是直接的。）<small>24</small>而艾倫·圖靈大約在同一時間提出的理論模型同樣表明了計算需要非線性。簡單創建投入總和的係統並不能符合計算的基本要求。
我們現在知道，實際的生物神經元有很多其他的非線性元素，這些都產生於突觸的電化學行為及樹突的形態（形狀）。對生物神經元的不同安排，可以轉化為各種計算，包括減法（扣除）、乘法（增值）、求平均值、篩選、規格化和信號閾值轉換，以及其他類型的轉換。
神經細胞的增殖能力是非常重要的，因為它要根據另一個網絡的計算結果對一個神經元在大腦中的網絡進行調節（或受到另一網絡計算結果的影響）。在猴子身上進行電生理測量的實驗所提供的證據表明，其視覺皮層的神經元在處理圖像時，傳遞信號速率的增減決定於猴子是否正在注意圖像的某一區域，<small>25</small>人類fmri研究也表明，將注意力集中在某一特定的區域增加了大腦皮層中被稱為v5區域（這塊區域是負責運動檢測的）的神經元的反應。 <small>26</small>
1969年，隨著麻省理工學院馬文·明斯基和西摩·派珀特所寫的《perceptrons》的出版，聯結主義運動遭受了挫折。<small>27</small>這本書中包括一個關鍵定理的證明，當時最常（簡單）使用的神經網絡類型（稱為感知器，率先由康奈爾大學的弗蘭克·羅森布拉特證明），並不能解決一條線是否是完全連接這種簡單的問題<small>28</small>。使用稱為“反向傳播”方法的神經網絡運動已經在20世紀80年代開始複蘇，其中，每一個模擬突觸的強度由一種學習的算法來決定，該算法將適應這個重量（在人工神經元每次實驗後輸出的強度），從而使網絡可以“學習”，以便更恰當地匹配正確的答案。
然而，反向傳播不是實際的生物神經網絡突觸重量訓練的可行模式，因為實際調節突觸連接強度的逆向連接似乎不存在於哺乳動物的大腦中。然而，在計算機體係中，這種類型的自組織係統可以解決廣泛的模式識別問題，這種簡單自組織模式的互聯神經的作用已經得到證明。
但隻有很少人知道海勃的第二種學習形式：在一個虛擬的循環中，神經元放電將反饋給自己（可能是通過其他層），從而產生了反射（持續興奮可能是短期學習的資源）。他還暗示，這個短期的反射可能會導致長期記憶：“讓我們假設反射活動（或‘跟蹤’）的持續或重複往往會引起持久的細胞變化，這樣會增加其穩定性。這樣的假設可以作如下精確說明：當一個細胞a的軸突與細胞b靠得足夠近時，足以激發細胞b作反複或長期的放電，一些生長過程或新陳代謝變化發生在一個或兩個細胞中，這樣細胞b的發射源細胞a的效率就會增加。”
雖然海勃反射記憶理論的建立並不像海勃的突觸學習那樣完善，但最近已發現這種實例。例如，興奮神經元集（那些刺激突觸的集合）和抑製神經元集（阻礙刺激的集合）在某些視覺模式起作用時開始振蕩<small>29</small>。麻省理工學院和朗訊科技公司貝爾實驗室的研究人員已經創建了一個由晶體管組成的電子集成電路，用來模擬16個興奮神經元和1個抑製神經元，從而模擬生物的大腦皮質電路。<small>30</small>
神經元和神經信息處理這些早期的模式，雖然過於簡化，在某些方麵也不準確，但考慮到數據和工具的缺乏，這些理論的發展起到的作用還是很顯著的。
人類大腦的大規模並行機製是其模式識別能力的關鍵，而模式識別正是人類思維的支柱之一。哺乳動物的神經元顯得有些混亂（有許多明顯隨機的相互作用），如果神經網絡已經訓練得很好，那麽一個反映網絡決策的穩定格局就會出現。當前，計算機的並行設計還比較有限。但並沒有理由說明與生物神經網絡功能相當的非生物再創造無法使用這些原則。的確，全世界數十次的努力已經成功地完成了這些事。我的技術領域就是模式識別，而且我在四十年裏所涉及的工程項目中也一直使用這種可訓練性且具有不確定性的計算方式。
通過利用有足夠能力的通用計算，很多大腦特有的組織方法可以有效地模擬出來。我相信複製自然的設計範式將成為未來計算的主要趨勢。我們也應該牢記，數字計算可以與模擬計算功能等效，也就是說，我們可以用全數字計算機執行一個數字模擬網絡所有的功能。而反過來是不正確的：我們不能用一個模擬計算機來模擬一個數字計算機的所有功能。
然而，模擬計算的確有一個工程上的優勢：它的潛在效率是現在的數千倍。模擬計算可以在幾個晶體管中或在哺乳動物神經細胞裏，以及特殊的電化學過程中執行。相反的是，數字計算則需要成千上萬個晶體管。另一方麵，這種優勢將被基於計算的數字仿真所抵消，因為數字計算機可以輕易地進行設計（和修改）。
大腦區別於傳統計算機的關鍵方式還有很多：
●大腦的電路非常緩慢。突觸複位和神經元穩定的時間（在神經元放電後，神經元及其突觸的重置時間）如此漫長，以致幾乎沒有神經元放電周期可以進行模式識別。功能性磁共振成像（fmri）和腦磁圖描記術（meg）掃描顯示，不需要解決語義含糊的判斷似乎是在單個神經元放電周期（小於20毫秒）內製造的，而且基本上沒有涉及迭代（重複）進程。物體識別需要約150毫秒，以致即使我們“在思考有些事”，但是運作周期數最多也隻是以數百或數千衡量，而不是像是一台標準的計算機那樣，以數十億計算。
●但它是大規模並行的。大腦相當於100萬億神經元間的相互連接，它們都可能在同時處理信息。正如我們前麵討論過的，這兩個因素（較長的周期和大規模並行）引起了一定程度的大腦計算能力。
今天，我們最大的超級計算機正在接近這個範圍。最先進的超級計算機（包括那些用於最流行的搜索引擎的計算機）超過了10<small>14</small>cps準則，這與我在第3章討論功能仿真的估計相匹配。不過，沒有必要采用和大腦相同的並行化處理的粒度，而隻要我們配合整體的運算速度和存儲容量的需要就可以，否則就需要模擬大腦的大規模並行結構。
●大腦模擬和數字相結合的現象。大腦連接的拓撲結構本質上是數字的——無論連接存在還是不存在。而軸突放電則不全是數字的，但接近於一個數字的過程。大腦中幾乎大部分的功能都是模擬的，充滿著非線性（在產出方麵的突然變化，而不是平穩變化），非線性實質上比我們已經在神經元中利用的經典模型還要複雜。然而，詳細的非線性神經元動力學和神經元的組成（樹突、棘、通道和軸突）可以通過非線性係統的數學來模擬。這些數學模型能夠在數字電腦上模擬到任何所需的準確程度。正如我所說的，如果我們使用晶體管以本地模擬的方式來模擬神經區域，而不是通過數字計算，那麽這種方法可以使能力提高3個或4個數量級，這一點卡福·密德已經給出證明。<small>13</small>
●大腦自身線路重鋪。樹突不斷掃描新的棘和突觸，而樹突和突觸的拓撲結構和傳導性還會不斷調整。神經係統在其組織的各個層次上都是自組織的。在計算機化的模式識別係統（例如神經網絡與馬爾可夫模型）中應用的數學方法比在大腦中所用的簡單，而我們在自組織模式上確實有大量的工程經驗。<small>14</small>當代計算機不能逐字地重複本身（盡管新出現的“自我修複係統”已經開始這樣做），但我們可以有效地模擬這個軟件過程。 <small>15</small>在軟件中實施自組織會有優勢，因為它會為程序員提供更多的靈活性，而在未來我們也可以在硬件中實現這一點。
●大腦中的大部分細節都是隨機的。雖然在大腦的每個方麵都有許多隨機（在嚴格控製下的隨機）過程，我們沒有必要模仿每個軸突表麵的所有“漣漪”，至多需要在了解了計算機操作原理的情況下模仿每個晶體管表麵的所有微小差異。但某些細節對於解碼大腦操作的原則是很關鍵的，這迫使我們必須將它們和那些包含隨機“噪音”或混亂細節加以區分。神經功能中混亂（隨機和難以預料的）的部分可以通過利用複雜性理論和混沌理論的數學方法進行建模。<small>16</small>
●大腦運用浮現特性。智能行為是大腦混亂和複雜活動的突顯特征。對比白蟻和螞蟻巢穴的智能化設計，考慮它們精心構建的互聯隧道和通風係統。盡管這些都是靈巧、複雜的設計，但螞蟻和白蟻群裏卻並沒有建築專家。這些建築都是由所有巢穴成員不可預測的互動建造起來的，每個成員都依照一些相對簡單的規則執行。
●大腦是不完善的。這是複雜自適應係統的本性，其決策所表現的智能是次最佳的。（也就是說，相對於其要素的優化配置所表現的智能相比，它反映了較低級別的智能。）它隻需要足夠好，這對我們人類而言就意味著已經有充足的智力水平，使我們能夠騙過在生態中與我們相類似的對手（例如，靈長類動物也結合了相對應的附屬品所帶來的認知功能，但其大腦沒有人類那樣發達，它們的手也沒有人類的那麽適用）。
●我們自我違背。各種各樣的思想和方法，包括那些相衝突的，最終造就了卓越的成果。我們的大腦完全能夠持矛盾的觀點。事實上，我們依靠內部的多樣性而蓬勃發展。在這點上可以考慮與人類社會相對比，社會有其解決多種觀點的建設性方法。
●大腦運用進化。大腦使用的基本的學習模式是漸進的：理解世界最成功，對認知和決策作出貢獻的連接模式會幸存下來。一個新生兒的大腦主要包含隨機聯係的神經元連接，隻有一部分新生兒一生下來就擁有兩歲小孩的大腦智力。<small>17</small>
●這些模式很重要。這些混亂的自組織方法的某些細節是至關重要的，它們是以模式約束（確定初始條件規則和自組織方式）的形式顯示出來的，而最初在約束中的許多細節都是任意設置的，係統然後進行自組織並逐步表現出已提交給係統的信息的不變特征。所產生的信息在特定的節點或連接中找不到，相反的，這是一個分布式的模式。
●大腦是全息的。全息圖中的分散信息和大腦網絡中信息的表現形式有類似之處。我們也在用於計算機模式識別的自組織方法（例如：神經網絡、馬爾可夫模型和遺傳算法）中發現了這一點。<small>18</small>
●大腦是密切聯係的。大腦從一個深層的連接網絡中得到恢複力，在這個網絡中的信息從一個點轉到另外一點的方式有很多種。拿互聯網來作類比，隨著其組成節點的數量增加，網絡已變得越來越穩定。節點，甚至互聯網整個樞紐，可以變得不起作用，而整個網絡卻不會因此而癱瘓。同樣，我們不斷喪失神經元，但這並沒有影響到整個大腦的完整性。
●大腦的確有一個區域的架構。雖然區域內的連接細節最初是隨機約束的，而且這些細節還是自組織的，但是仍然有一個區域架構，它使得幾百個有特定連接模式的區域執行特定的功能。
●一個大腦區域的設計比一個神經元的設計還要簡單。在更高層次的模擬常常會更簡單，而不是更複雜。類比一台計算機，如果我們要模擬一個晶體管，我們需要詳細了解半導體物理學原理，而一個真正的晶體管所隱藏的方程是很複雜的。然而，在兩個數字相乘的數字電路中，雖然涉及數百個晶體管，但模擬起來卻更簡單，隻涉及少數公式。一個由數十億個晶體管組成的計算機可以通過其指令集和寄存器描述來模擬，而這些可以由少量的文字和數學變換來描述。
一個操作係統、語言編譯器和組譯器的軟件程序是複雜的，但模擬特定程序——例如，以馬爾可夫模型為基礎的語音識別係統——卻可能用短短幾頁的方程就能描述。這種描述沒有任何地方需要半導體物理學的細節。類似的觀察也適用於大腦。一個特定的神經排列用來檢測一個特定不變的視覺特征（例如臉），或執行一個作用於聽覺信息或計算兩個事件時間接近性的帶通濾波（限製輸入到一個特定的頻率範圍），這些都可以描述得遠比實際物理和化學的關係（控製神經遞質和其他突觸和樹突在各自程序中所涉及的變量）要簡單。雖然在推進到下一個更高的水平（模擬大腦）前，這種神經的複雜性都必須仔細研究，但是，一旦理解了大腦的工作原理，其中很大一部分都可以得到簡化。
努力去理解我們的想法
不斷加快研究步伐
我們對人類大腦的研究步伐正不斷加快，現在已不斷接近這條曲線的拐點（這是一個呈指數增長的快速發展時期），但在這之前我們曾有過無數次的研究嚐試。反思和建立人類思維模型的能力是我們人類特有的一種屬性。基於對人類外在行為的簡單觀察，我們建立了早期的人類思維模型（例如，亞裏士多德在2350年前所寫的對人類聯想能力的分析）。<small>19</small>
在20世紀初期，我們開發了研究人類大腦內部物理活動的工具。一個早期的突破就是對神經細胞電流產出的測量，這是由神經科學的先驅艾德裏安在1928年開發的，它表明了在人類大腦內部有電流活動發生。<small>20</small>正如他所寫道：我在蟾蜍的視神經上安放了一些電極，準備做一些與視網膜有關的實驗。房間幾乎是全黑的，鏈接到擴音器的喇叭裏反複傳出的一些聲音讓我感到很困惑，而這些聲音表明有大量的神經脈衝活動在進行。直到在比較了這些聲音與我在屋子裏的活動之後，我才意識到我正處在蟾蜍的視野之內，而這些聲音就是對我正在做的事情的一種反應信號。
艾德裏安從這個實驗中得到的重要觀點仍然是今天神經科學的基石，感覺神經脈衝的頻率與可以被測量的感覺強度成正比，例如，光線越強，從視網膜傳到大腦的神經脈衝頻率（每秒的脈衝）越快。艾德裏安的學生，賀拉斯·巴羅由於發現青蛙和兔子的視網膜裏有單獨的神經元能觸發“感知到”具體的形狀、方向和速度，從而提出了這一領域延續至今的另一個很重要的觀點：神經細胞的“觸發功能”。換句話說，感覺包含一係列神經元層次，每一層次的神經元都能感知到更複雜的圖像特征。
從1939年開始，我們開始形成神經元工作原理的思想。通過積累（增加）外界的輸入，然後在神經元的膜層上產生電導（這種電導在神經元的細胞膜上突然增多用以傳遞信號），沿著神經元的軸突傳導信號（軸突是通過一個突觸與其他的神經元相聯係）。霍其金和赫胥黎在研究軸突時將其稱為“動作電位理論”（電壓）<small>21</small>。他們還在1952年就動物的神經軸突的動作電位進行了實際測量。他們選擇了墨魚的神經元，因為它們的大小和可解剖性很合適這個實驗。
在1943年，邁克路和匹茲在霍其金和赫胥黎觀點的基礎上建立了一個神經網絡的簡化模型，此舉激發了半個世紀對於人造（模擬的）神經網絡（使用計算機程序來模擬神經元在大腦中的工作網絡）的研究。霍其金和赫胥黎於1952年進一步完善了該模型。盡管我們現在認識到真正的神經元要比最初的這些模型複雜得多，但這些早期概念卻得到了認可。對每個神經元突觸來說，這一基本神經網絡模型都有一個神經的“重量”（代表連接的力量），而對神經元細胞體來說，這一基本的神經網絡模型就是一個非線性的發射閾值。
隨著神經元細胞體接收的外界輸入總和的增加，在達到臨界值之前基本上是沒有神經元會做出反應的，因為在此時，神經細胞會迅速增加其軸突和放電。不同的神經元有不同的臨界值。雖然最近的研究表明神經元的真實反應要比這更複雜，但邁克洛-匹茲和霍其金-赫胥黎的模型仍然是有效的。<small>22</small>
這些觀點引領了人工神經網絡的大量早期工作，使這個領域為眾人所知。這也許是第一個計算機領域自組織的典範。
自組織係統的一個關鍵要求就是非線性：一些創造的產出不是通過簡單地投入總和得到的。早期的神經網絡模型在神經細胞的副本中是非線性的。<small>23</small>（基本神經網絡的方法是直接的。）<small>24</small>而艾倫·圖靈大約在同一時間提出的理論模型同樣表明了計算需要非線性。簡單創建投入總和的係統並不能符合計算的基本要求。
我們現在知道，實際的生物神經元有很多其他的非線性元素，這些都產生於突觸的電化學行為及樹突的形態（形狀）。對生物神經元的不同安排，可以轉化為各種計算，包括減法（扣除）、乘法（增值）、求平均值、篩選、規格化和信號閾值轉換，以及其他類型的轉換。
神經細胞的增殖能力是非常重要的，因為它要根據另一個網絡的計算結果對一個神經元在大腦中的網絡進行調節（或受到另一網絡計算結果的影響）。在猴子身上進行電生理測量的實驗所提供的證據表明，其視覺皮層的神經元在處理圖像時，傳遞信號速率的增減決定於猴子是否正在注意圖像的某一區域，<small>25</small>人類fmri研究也表明，將注意力集中在某一特定的區域增加了大腦皮層中被稱為v5區域（這塊區域是負責運動檢測的）的神經元的反應。 <small>26</small>
1969年，隨著麻省理工學院馬文·明斯基和西摩·派珀特所寫的《perceptrons》的出版，聯結主義運動遭受了挫折。<small>27</small>這本書中包括一個關鍵定理的證明，當時最常（簡單）使用的神經網絡類型（稱為感知器，率先由康奈爾大學的弗蘭克·羅森布拉特證明），並不能解決一條線是否是完全連接這種簡單的問題<small>28</small>。使用稱為“反向傳播”方法的神經網絡運動已經在20世紀80年代開始複蘇，其中，每一個模擬突觸的強度由一種學習的算法來決定，該算法將適應這個重量（在人工神經元每次實驗後輸出的強度），從而使網絡可以“學習”，以便更恰當地匹配正確的答案。
然而，反向傳播不是實際的生物神經網絡突觸重量訓練的可行模式，因為實際調節突觸連接強度的逆向連接似乎不存在於哺乳動物的大腦中。然而，在計算機體係中，這種類型的自組織係統可以解決廣泛的模式識別問題，這種簡單自組織模式的互聯神經的作用已經得到證明。
但隻有很少人知道海勃的第二種學習形式：在一個虛擬的循環中，神經元放電將反饋給自己（可能是通過其他層），從而產生了反射（持續興奮可能是短期學習的資源）。他還暗示，這個短期的反射可能會導致長期記憶：“讓我們假設反射活動（或‘跟蹤’）的持續或重複往往會引起持久的細胞變化，這樣會增加其穩定性。這樣的假設可以作如下精確說明：當一個細胞a的軸突與細胞b靠得足夠近時，足以激發細胞b作反複或長期的放電，一些生長過程或新陳代謝變化發生在一個或兩個細胞中，這樣細胞b的發射源細胞a的效率就會增加。”
雖然海勃反射記憶理論的建立並不像海勃的突觸學習那樣完善，但最近已發現這種實例。例如，興奮神經元集（那些刺激突觸的集合）和抑製神經元集（阻礙刺激的集合）在某些視覺模式起作用時開始振蕩<small>29</small>。麻省理工學院和朗訊科技公司貝爾實驗室的研究人員已經創建了一個由晶體管組成的電子集成電路，用來模擬16個興奮神經元和1個抑製神經元，從而模擬生物的大腦皮質電路。<small>30</small>
神經元和神經信息處理這些早期的模式，雖然過於簡化，在某些方麵也不準確，但考慮到數據和工具的缺乏，這些理論的發展起到的作用還是很顯著的。