埃涅阿克計算機配備了18000個真空管,重30噸;未來的計算機可能隻有100個真空管,質量約為1.5噸。
——大眾機械,1949年
計算機科學的研究範疇不僅僅是電腦,就像天文學的研究範疇不僅僅是望遠鏡。
——e.w.dijkstra
在進一步思考奇點的含義前,讓我們先研究各種服從於加速回報定律相關技術的廣闊領域。摩爾定律是最著名的(也是被廣為承認的)指數增長現象。在20世紀70年代中期,戈登·摩爾(集成電路的主要發明人、英特爾公司的董事長)指出,我們可以每24個月在集成電路上集成現在兩倍的晶體管(在20世紀60年代中期,他曾預計12個月)。電子的傳導距離隨著減少,電路也將運行得更快,從而提高了整體計算能力。這些帶來的結果是計算的性價比以指數增長,其翻倍的速度(12個月翻一番)遠快於範式遷移的增長速度(10年翻一番)。信息技術在性價比、帶寬、容量等方麵的速度增長1倍的時間都是一年。
摩爾定律的主要動力是半導體元件尺寸的減少,減少的速度為每5.4年收縮一半(見圖2-6)。由於芯片功能是雙向的,這意味著每2.7年每平方毫米的元件數量將增加一倍<small>22</small>。
圖 2-6
圖2-6展示了半導體工業發展路線圖(選自半導體技術協會的國際半導體技術藍圖《參考係》,該圖預測至2018年)。
每平方毫米dram(動態隨機存取記憶體)的成本也已開始下降。每1美元生產dram比特數的倍增時間隻需1.5年<small>23</small>(見圖2-7)。
圖 2-7
晶體管方麵也可以看到類似的趨勢。1968年1美元可購買1個晶體管;2002年1美元可以購買大約1000萬個晶體管。由於dram是一種專門的領域(有自己的創新),晶體管的平均價格減半的時間略長於dram,約1.6年(如圖2-8)<small>24</small>。
圖 2-8
半導體性價比顯著而平穩的加速,是通過改良生產過程中不同階段、不同方麵的工藝技術實現的。關鍵元件尺寸已小於100納米(通常認為100納米是應用納米技術的極限)<small>25</small>。
與格特魯德·斯坦因詩中的“玫瑰”不同,“晶體管是晶體管是晶體管”並不適用於現實情形。事實上,晶體管不是一成不變的,在過去30年中,它們已經變得體積更小、價格更便宜、速度更快了(參見圖2-10)——因為電子的傳輸路程更短了<small>26</small>。
圖 2-9
圖 2-10
如果把晶體管成本的下降和晶體管間延時減少的趨勢結合起來,我們會發現,隻需要1.1年的時間晶體管周期的單位成本就會減半(見圖2-11)<small>27</small>。晶體管周期的單位成本是一個能夠準確地從整體上衡量性價比的指標,因為這個指標可以同時考慮到速度和容量。但是晶體管周期的單位成本沒有考慮更高層次的技術革新(比如微處理器的設計)對計算性能的改進。
圖 2-11
英特爾處理器中的晶體管數量每兩年翻一番(見圖2-12)。還有一些其他的因素也在改進整體性價比,比如時鍾速度的提升、微處理器成本的下降以及處理器設計方法的創新<small>28</small>。
圖 2-12
處理器的mips(每秒的指令執行數目)性能,每1.8年提升一倍(見圖2-13)。而且,在這段時間內處理器的單位成本也在下降<small>29</small>。
圖 2-13
讓我來回顧這40多年來對計算機產業的切身體會,比較一下我在學生時期(1960年前後)使用的mit計算機和現在的筆記本電腦:1967年,我曾經使用過價值數百萬美元的ibm 7094計算機,32k字節(36bit)的內存儲器,處理器速度為1/4 mips。2004年,我使用的是一台價值2000美元的個人電腦,幾個g的ram,處理器速度為2000mips。mit計算機的價格大約是個人電腦的一千倍左右,所以現在個人電腦的mips的單位成本是mit計算機的800萬分之一,如表2-1所示。
現在我的計算機處理器的能力達到了2000mips,其處理成本不到1967年我使用的計算機的224分之一,也就是說性價比在37年間翻了24番,大約每18.5個月翻一番。相比之下,2004年我使用的計算機ram的容量增長了近2000倍、磁盤存儲大幅度增長、指令集也更高效。此外通信速度更快,軟件功能更強,其他方麵的性能也不斷得到提升,所以在未來性能翻倍的時間將會越來越短。
盡管信息技術的成本大幅度降低,但需求增長的速度更快。比特的數量每1.1年翻一倍,比單位比特成本降低一半的時間(單位比特成本降低一半大約是1.5年<small>30</small>)要快。半導體工業從1958年到2002年<small>31</small>,每年增長18個百分點。整個it產業在gdp中的比重從1977年的4.2%,上升到了1998年<small>32</small>的8.2%,如圖2-14所示。it產業已經逐漸成為各種經濟因素中的一股強大勢力。同時it產業也促進了很多其他製造業和服務業的快速發展,甚至包括生產桌椅板凳的製造業。各行各業的生產過程中計算機輔助設計、庫存管理係統以及自動化生產係統等都得到廣泛使用。
圖 2-14
摩爾定律:自我滿足的預言?
許多觀察家都認為摩爾定律是一條已經應驗的預言:工業生產商期待在未來某個特定的時間組織相應的研發。這個產業的發展路線圖是典型的實例<small>34</small>。但是信息技術發展的指數趨勢已經遠遠超出了摩爾定律的範疇。我們可以看到類似的發展趨勢發生在每一個與信息技術相關的技術中。其中部分技術的性價比加速提高可能並不存在或者並不明顯(具體解釋見下文)。即便是計算本身,其性能增長的單位成本也已經遠遠超出了摩爾定律的預測。
第五範式<small>35</small>
摩爾定律實際上並不是計算機係統領域的第一階段。如果關注性價比(1000美元的成本創造的每秒鍾執行的指令數),可以在下麵49個著名的計算係統和20世紀計算機相關領域中發現這個階段(見圖2-15)。
圖2-15表明,當集成電路發明之前,計算性價比以指數級的速度增長就有四個不同的範式——機電、繼電器、真空管、離散晶體管。摩爾範式也並不是最後的範式。當摩爾定律到達的s形曲線末端(預計2020年前)後,三維分子計算將繼續推動指數級的增長,這也將構成第六範式。
圖 2-15
分形維度和大腦
注意,計算機係統第三維度的使用不是一個非此即彼的選擇,而是二維和三維間的一種延續。在生物智能方麵,人類大腦皮層相當的平,6個薄層被精巧地折疊在一起,這種結構可以大大增大其表麵積。這種折疊的方式也可以使用第三維度。在“分形”係統(繪圖更換或折疊規則迭代應用的係統)中,這種精密的折疊結構被認為構成了一部分的維度。從這一角度看,人類大腦皮層表麵是一個錯綜複雜的二至三維結構。其他腦結構(如小腦)是三維的,但包含重複的結構,所以其本質上還是二維的。很可能我們未來的計算機係統將融合高度折疊的二維係統和充分的三維結構。
請注意,圖2-15顯示的是對數指數曲線,表明了兩個層次的指數增長<small>36</small>。換言之,指數增長以指數增長的速度平穩無誤地增長(對數圖中的直線部分說明了指數增長;上揚的曲線顯示其並不是簡單的指數級的增長)。如圖2-16所見,計算機的性價比在20世紀初翻一番需要三年的時間;20世紀中期翻一番需要兩年的時間,而現在大約隻需要一年的時間<small>37</small>。
漢斯·莫拉維克提供了類似的圖表(見圖2-16),它使用了一組不同的但是重疊的時間集合,描述計算機在不同時期(斜率的改變點)的發展趨勢。從該圖可以看出,斜率隨著時間遞進而增加,反映了指數增長的第二個層次<small>38</small>。
圖 2-16
如果由此來預測22世紀的計算機性能發展趨勢,我們可以從圖2-17中看到,超級計算機將在2010年前後達到與人類大腦相當的計算性能,在2020年前後,個人電腦的計算能力將媲美甚至超越人腦的水平。這僅是我們對人腦容量的保守估計(我們將在第3章討論關於人腦運算速度的預測)<small>39</small>。
圖 2-17
計算機指數發展是整個科技指數化發展的一個最典型的例子。我們可以從加速度增長的角度觀察指數發展的趨勢:我們用了90年的時間才達到第一個mips/千美元,而現在我們增加1個mips/千美元隻需要5個小時<small>40</small>。
圖 2-18
ibm的藍色基因/p超級計算機,預計計算能力達到100萬千兆浮點運算(每秒10億次浮點運算),或者說到2007年<small>41</small>達到每秒10<small>15</small>次的計算能力。這已經達到了人腦計算能力的1/10——預計人腦的計算能力為每秒10 <small>16</small>次計算(見第3章)。如果從這個指數曲線進行推斷,計算機可以在下一個10年的初期達到每秒1016計算能力。
如上所述,摩爾定律隻是局限地指出了晶體管的數量在確定尺寸的集成電路中的變化,有的時候甚至還隻局限在晶體管的特征尺寸變化上。最適當的性價比測量標準是單位成本的計算速度,索引可以解釋不同層麵的“聰明”(創新或者稱為技術的演變)。除了涉及集成電路的所有發明外,計算機設計的多個層次都有改進(例如流水線、並行處理、先行指令、指導和內存緩存等)。
人類大腦使用效率很低的電化學和數字控製來模擬計算過程。其中大量的計算都是在神經元間、以200次/秒的計算速度(在每個連接)展開的。這至少比現代的電路慢100萬倍。但是大腦可以從三維的、極大並行化的組織中得到巨大的能量。有許多的wings方麵的技術,通過該技術可以在三維上構建電路,我將在第3章討論。
有人也許會問:支持計算過程的物質和能量是否存在固有的限製呢?這是一個重要的問題,但正如本書第3章論述的,直到21世紀末,我們都不會接近這些限製。重要的是要區分s形曲線(以具體的技術範式為典型特征)和持續指數級增長(以一個更廣泛科技領域中的持續進化過程為典型特征)。具體的範例(如摩爾定律)最終將不會保持指數增長。但是,計算的增長將最終超越它構建的範式,始終保持指數增長的速度。
根據加速回歸定律,範式遷移(也稱為創新)可以將任何特定模式的s形曲線轉變為持續的指數增長。當舊的範式接近它的內在極限時,一個新範式(如三維電路)將接替舊的模式,這種情形在計算的曆史中已經發生了至少四次。例如類人猿,每個動物掌握工具製造和使用技巧都以s形學習曲線為特征,但曲線的末端會迅速停止;與之相反,人造技術從一開始,便以指數模式迅速增長,而且永不停止。
——大眾機械,1949年
計算機科學的研究範疇不僅僅是電腦,就像天文學的研究範疇不僅僅是望遠鏡。
——e.w.dijkstra
在進一步思考奇點的含義前,讓我們先研究各種服從於加速回報定律相關技術的廣闊領域。摩爾定律是最著名的(也是被廣為承認的)指數增長現象。在20世紀70年代中期,戈登·摩爾(集成電路的主要發明人、英特爾公司的董事長)指出,我們可以每24個月在集成電路上集成現在兩倍的晶體管(在20世紀60年代中期,他曾預計12個月)。電子的傳導距離隨著減少,電路也將運行得更快,從而提高了整體計算能力。這些帶來的結果是計算的性價比以指數增長,其翻倍的速度(12個月翻一番)遠快於範式遷移的增長速度(10年翻一番)。信息技術在性價比、帶寬、容量等方麵的速度增長1倍的時間都是一年。
摩爾定律的主要動力是半導體元件尺寸的減少,減少的速度為每5.4年收縮一半(見圖2-6)。由於芯片功能是雙向的,這意味著每2.7年每平方毫米的元件數量將增加一倍<small>22</small>。
圖 2-6
圖2-6展示了半導體工業發展路線圖(選自半導體技術協會的國際半導體技術藍圖《參考係》,該圖預測至2018年)。
每平方毫米dram(動態隨機存取記憶體)的成本也已開始下降。每1美元生產dram比特數的倍增時間隻需1.5年<small>23</small>(見圖2-7)。
圖 2-7
晶體管方麵也可以看到類似的趨勢。1968年1美元可購買1個晶體管;2002年1美元可以購買大約1000萬個晶體管。由於dram是一種專門的領域(有自己的創新),晶體管的平均價格減半的時間略長於dram,約1.6年(如圖2-8)<small>24</small>。
圖 2-8
半導體性價比顯著而平穩的加速,是通過改良生產過程中不同階段、不同方麵的工藝技術實現的。關鍵元件尺寸已小於100納米(通常認為100納米是應用納米技術的極限)<small>25</small>。
與格特魯德·斯坦因詩中的“玫瑰”不同,“晶體管是晶體管是晶體管”並不適用於現實情形。事實上,晶體管不是一成不變的,在過去30年中,它們已經變得體積更小、價格更便宜、速度更快了(參見圖2-10)——因為電子的傳輸路程更短了<small>26</small>。
圖 2-9
圖 2-10
如果把晶體管成本的下降和晶體管間延時減少的趨勢結合起來,我們會發現,隻需要1.1年的時間晶體管周期的單位成本就會減半(見圖2-11)<small>27</small>。晶體管周期的單位成本是一個能夠準確地從整體上衡量性價比的指標,因為這個指標可以同時考慮到速度和容量。但是晶體管周期的單位成本沒有考慮更高層次的技術革新(比如微處理器的設計)對計算性能的改進。
圖 2-11
英特爾處理器中的晶體管數量每兩年翻一番(見圖2-12)。還有一些其他的因素也在改進整體性價比,比如時鍾速度的提升、微處理器成本的下降以及處理器設計方法的創新<small>28</small>。
圖 2-12
處理器的mips(每秒的指令執行數目)性能,每1.8年提升一倍(見圖2-13)。而且,在這段時間內處理器的單位成本也在下降<small>29</small>。
圖 2-13
讓我來回顧這40多年來對計算機產業的切身體會,比較一下我在學生時期(1960年前後)使用的mit計算機和現在的筆記本電腦:1967年,我曾經使用過價值數百萬美元的ibm 7094計算機,32k字節(36bit)的內存儲器,處理器速度為1/4 mips。2004年,我使用的是一台價值2000美元的個人電腦,幾個g的ram,處理器速度為2000mips。mit計算機的價格大約是個人電腦的一千倍左右,所以現在個人電腦的mips的單位成本是mit計算機的800萬分之一,如表2-1所示。
現在我的計算機處理器的能力達到了2000mips,其處理成本不到1967年我使用的計算機的224分之一,也就是說性價比在37年間翻了24番,大約每18.5個月翻一番。相比之下,2004年我使用的計算機ram的容量增長了近2000倍、磁盤存儲大幅度增長、指令集也更高效。此外通信速度更快,軟件功能更強,其他方麵的性能也不斷得到提升,所以在未來性能翻倍的時間將會越來越短。
盡管信息技術的成本大幅度降低,但需求增長的速度更快。比特的數量每1.1年翻一倍,比單位比特成本降低一半的時間(單位比特成本降低一半大約是1.5年<small>30</small>)要快。半導體工業從1958年到2002年<small>31</small>,每年增長18個百分點。整個it產業在gdp中的比重從1977年的4.2%,上升到了1998年<small>32</small>的8.2%,如圖2-14所示。it產業已經逐漸成為各種經濟因素中的一股強大勢力。同時it產業也促進了很多其他製造業和服務業的快速發展,甚至包括生產桌椅板凳的製造業。各行各業的生產過程中計算機輔助設計、庫存管理係統以及自動化生產係統等都得到廣泛使用。
圖 2-14
摩爾定律:自我滿足的預言?
許多觀察家都認為摩爾定律是一條已經應驗的預言:工業生產商期待在未來某個特定的時間組織相應的研發。這個產業的發展路線圖是典型的實例<small>34</small>。但是信息技術發展的指數趨勢已經遠遠超出了摩爾定律的範疇。我們可以看到類似的發展趨勢發生在每一個與信息技術相關的技術中。其中部分技術的性價比加速提高可能並不存在或者並不明顯(具體解釋見下文)。即便是計算本身,其性能增長的單位成本也已經遠遠超出了摩爾定律的預測。
第五範式<small>35</small>
摩爾定律實際上並不是計算機係統領域的第一階段。如果關注性價比(1000美元的成本創造的每秒鍾執行的指令數),可以在下麵49個著名的計算係統和20世紀計算機相關領域中發現這個階段(見圖2-15)。
圖2-15表明,當集成電路發明之前,計算性價比以指數級的速度增長就有四個不同的範式——機電、繼電器、真空管、離散晶體管。摩爾範式也並不是最後的範式。當摩爾定律到達的s形曲線末端(預計2020年前)後,三維分子計算將繼續推動指數級的增長,這也將構成第六範式。
圖 2-15
分形維度和大腦
注意,計算機係統第三維度的使用不是一個非此即彼的選擇,而是二維和三維間的一種延續。在生物智能方麵,人類大腦皮層相當的平,6個薄層被精巧地折疊在一起,這種結構可以大大增大其表麵積。這種折疊的方式也可以使用第三維度。在“分形”係統(繪圖更換或折疊規則迭代應用的係統)中,這種精密的折疊結構被認為構成了一部分的維度。從這一角度看,人類大腦皮層表麵是一個錯綜複雜的二至三維結構。其他腦結構(如小腦)是三維的,但包含重複的結構,所以其本質上還是二維的。很可能我們未來的計算機係統將融合高度折疊的二維係統和充分的三維結構。
請注意,圖2-15顯示的是對數指數曲線,表明了兩個層次的指數增長<small>36</small>。換言之,指數增長以指數增長的速度平穩無誤地增長(對數圖中的直線部分說明了指數增長;上揚的曲線顯示其並不是簡單的指數級的增長)。如圖2-16所見,計算機的性價比在20世紀初翻一番需要三年的時間;20世紀中期翻一番需要兩年的時間,而現在大約隻需要一年的時間<small>37</small>。
漢斯·莫拉維克提供了類似的圖表(見圖2-16),它使用了一組不同的但是重疊的時間集合,描述計算機在不同時期(斜率的改變點)的發展趨勢。從該圖可以看出,斜率隨著時間遞進而增加,反映了指數增長的第二個層次<small>38</small>。
圖 2-16
如果由此來預測22世紀的計算機性能發展趨勢,我們可以從圖2-17中看到,超級計算機將在2010年前後達到與人類大腦相當的計算性能,在2020年前後,個人電腦的計算能力將媲美甚至超越人腦的水平。這僅是我們對人腦容量的保守估計(我們將在第3章討論關於人腦運算速度的預測)<small>39</small>。
圖 2-17
計算機指數發展是整個科技指數化發展的一個最典型的例子。我們可以從加速度增長的角度觀察指數發展的趨勢:我們用了90年的時間才達到第一個mips/千美元,而現在我們增加1個mips/千美元隻需要5個小時<small>40</small>。
圖 2-18
ibm的藍色基因/p超級計算機,預計計算能力達到100萬千兆浮點運算(每秒10億次浮點運算),或者說到2007年<small>41</small>達到每秒10<small>15</small>次的計算能力。這已經達到了人腦計算能力的1/10——預計人腦的計算能力為每秒10 <small>16</small>次計算(見第3章)。如果從這個指數曲線進行推斷,計算機可以在下一個10年的初期達到每秒1016計算能力。
如上所述,摩爾定律隻是局限地指出了晶體管的數量在確定尺寸的集成電路中的變化,有的時候甚至還隻局限在晶體管的特征尺寸變化上。最適當的性價比測量標準是單位成本的計算速度,索引可以解釋不同層麵的“聰明”(創新或者稱為技術的演變)。除了涉及集成電路的所有發明外,計算機設計的多個層次都有改進(例如流水線、並行處理、先行指令、指導和內存緩存等)。
人類大腦使用效率很低的電化學和數字控製來模擬計算過程。其中大量的計算都是在神經元間、以200次/秒的計算速度(在每個連接)展開的。這至少比現代的電路慢100萬倍。但是大腦可以從三維的、極大並行化的組織中得到巨大的能量。有許多的wings方麵的技術,通過該技術可以在三維上構建電路,我將在第3章討論。
有人也許會問:支持計算過程的物質和能量是否存在固有的限製呢?這是一個重要的問題,但正如本書第3章論述的,直到21世紀末,我們都不會接近這些限製。重要的是要區分s形曲線(以具體的技術範式為典型特征)和持續指數級增長(以一個更廣泛科技領域中的持續進化過程為典型特征)。具體的範例(如摩爾定律)最終將不會保持指數增長。但是,計算的增長將最終超越它構建的範式,始終保持指數增長的速度。
根據加速回歸定律,範式遷移(也稱為創新)可以將任何特定模式的s形曲線轉變為持續的指數增長。當舊的範式接近它的內在極限時,一個新範式(如三維電路)將接替舊的模式,這種情形在計算的曆史中已經發生了至少四次。例如類人猿,每個動物掌握工具製造和使用技巧都以s形學習曲線為特征,但曲線的末端會迅速停止;與之相反,人造技術從一開始,便以指數模式迅速增長,而且永不停止。