對自由行走者的申請重新火熱了起來，但命中率實在不高，而且審核時間被拖得越來越長。
好在，現在的申請者大多是有專業背景的研究人員，都不缺乏等待的耐心。
命中的研究工作五花八門，什麽方向的都有，從小分子藥物實驗，到新架構的引力波探測器。
從反重力材料，到大規模人體實驗仿真環境。
甚至有一個團隊申請到了一款時間加速裝置用於農作物育種研究。
他們在神國裏得到一棟幾百層的大樓，每層都有兩畝農田，並配有以假亂真的陽光模擬裝置，和各種完全自動化的無人農機。
其中最神奇的是，每層樓的時間流速都能被任意控製，甚至最高能加速上千倍之多。
作物種下去，實驗程序設定好，一鍵按下去，一天之後作物就有了收成。
這個效率把全世界的農業研究人員都刺激得像打了雞血一樣。
有些自由行走者開始往自己的團隊裏麵塞外國研究人員，這些人竟然也都順順利利地進入了神國。
這一現象讓世界各主要國家內部都開始暗流湧動。
當然，在命中的這些申請書中，還是計算機領域的研究工作最多。各種性能屌炸天的gpu集群和超算平台被人們幻想了出來，用於各種各樣稀奇古怪的研究任務。
--------------------
早上，李曉軍把手下的五名博士生都召集到自己的辦公室。
他是985高校計算機專業的教授，今天這個會議主題非常明確，讓大家群策群力地規劃一個自由行走的申請書出來。
缺乏大規模gpu資源的他，麵對各大公司如烈火烹油般熱鬧的大模型研究，早已經產生了一種深深地無力感和危機感。
神國能夠為自由行走者提供的計算資源，在他看來簡直就是一根救命稻草。
何況自己媳婦也催得緊，讓他趕緊想辦法給他們一家弄個自由行走的名額出來。
大家現在都稱那些申請成功的自由行走者為“王棟的寵兒”，稱那些團隊成員為“夥計”。
好吧，他的確已經年近五十，但當一當這個“王棟的寵兒”又何妨？
今天，他就準備啟動這件事了，並且按照往常的工作習慣，遇事不決開會討論。
然而，出乎李曉軍預料的是，當他把會議的目的交待清楚後，竟然無一人發言，辦公室裏長時間陷入到冷場的狀態之中。
現在的年輕人都學精了，如果真有好點子，為什麽自己不去當“自由行走者”？
實際上，現在已經獲得成功的申請者，那些“王棟的寵兒”，還真以年輕人居多。
年輕人頭腦靈活，更容易想出超出常理的研究方向和研究設備出來。
而且，第一位王棟的寵兒，那個“太空粒子對撞機”的申請者，已經用他悲催的經曆給大家做了很好的示範，太在乎地球上的尊卑關係，臉皮不夠厚，最後倒黴的隻能是自己。
不得不承認，王棟的這一舉措，又把地球上講人脈、講資曆的學術圈子衝擊了個七零八落。
李曉軍後知後覺，此時才意識到問題所在，一時之間也麵沉似水。
大家在沉重的氣氛中僵持了半天，終於有人開口說話了，“我們弄個連續學習方麵的本子吧。”
說話的人叫方麟，是一位平時很讓李曉軍頭疼的學生。
倒不是說方麟是個很笨的學生，他才華橫溢，聰明得緊，應該是李曉明帶過的學生中最聰明的一個。
但就是太有個性，自己想研究什麽就研究什麽，不怎麽聽指揮。
李曉軍不止一次想勸退這個學生，或轉到別的老師名下。
不能給老師幹活的博士生當然不是好博士生。
李曉軍遲疑道：“這算是通用人工智能的範疇了，有點太超前了吧？”
方麟瘦瘦高高，頂著一腦袋的長頭發，雖然還沒長到盡顯藝術家的風範，但也足以像雞窩一樣亂糟糟的。
方麟：“王棟不就是想要超前的東西麽，越超前越好。”
餘下的同學都點頭讚同，表示深以為然。
李曉軍也覺得有理：“大家現在都在做自監督預訓練，有大模型大算力加持，出現了智能湧現。”
“這幾年連續學習相關的研究工作的確進展緩慢，好像沒有什麽清晰的方向，不好做啊。”
“不過，好做的都被申請完了，做連續學習也不錯，但咱們得弄出一個具有可行性的解決方案來。”
方麟：“連續學習麵對的主要問題是災難性遺忘。如果讓深度神經網分多次學習，學了後麵的知識，就把前麵的知識忘掉了，或者說覆蓋掉了。”
“所以，這是個如何在深度模型中保留記憶的問題。”
“已有方法大概采用了如下三種技術路線：”
“一是保留以前學過的部分代表性樣本作為記憶，這些樣本要參與到後麵的模型訓練，從而把記憶轉化為模型參數；”
“二是在模型學習新知識時限製參數在一個限定的範圍內變化，而這個範圍是由舊知識決定的，所以就達到了不會遺忘它們的效果；”
“三是每次弄出不同的網絡分支以對應不同的知識。”
“第三種方法性能最差，較少被關注到，但我反倒覺得最具合理性。”
“仿真人類的情況，我們的記憶難道不應該是神經網絡形式的，不同的記憶難道不應該是不同的子網絡麽？。”
“以前遇到的困難是如何將這些分支融合以達到記憶選擇的效果，然而不融合直接選擇也是一種辦法。”
“假設麵對一種任務，其所要學習的知識有一萬種子模式，每種模式我們都可以保留三個模型：一個用於生成已習得數據的模型，大模型形式的生成模型現在就很好用；另一個用於對新到達樣本做數據增強，達到將一個樣本變成上千個內容相同但表示不同的樣本的目的；最後一個才是這個子模式對應的處理模型。”
“用這三個模型來代表對某種模式知識的記憶。”
“訓練時，先將新到達樣本在每個記憶模式裏分別做數據增強，然後用對應的生成模型生產大量記憶樣本。把記憶樣本與增強樣本一起去重新訓練處理模型”
“如果該處理模型對各種生成樣本仍舊有較高的準確率，該子模式就被選中，把處理模型更新為重訓模型，當然，生成模型和增強模型也需要一起被重新訓練。”
“推理時，過程也是一樣的，將待處理樣本在每個知識子模式中都進行增強，然後與生成樣本一起重訓處理模型，根據重訓模型對各種生成樣本的準確率，決定是否接受其識別結果。”
李曉軍已經聽得眉頭緊皺：“有點道理，這是用模型訓練來解決模型選擇問題，或者說記憶選擇問題。”
“假如真有上萬個知識子模式，每一個樣本都要進行上萬次模型訓練才能完成對它的學習和推理。學習時還行，慢就慢了。但推理時必須經過上萬次模型訓練，這能忍受麽？”
方麟：“我看王棟已經提供的那些計算平台，算力也都高得離譜。我們可以大致估算出來，我們這個方案如果要達到實時的推理速度，大概需要什麽樣的算力，比現在最高算力還要高幾千萬倍。”
“不過這不是我們的問題，是王棟的問題，如果他能提供這樣的算力，我們就可以按照這一思路進行研究。”
“現在這個世界已經很魔幻了，不妨更魔幻一些。說不定王棟就喜歡這樣魔幻的東西呢！”
李曉軍被說服了，他充滿希冀地望著方麟：“方麟，你來主筆寫個草稿，我們再討論，行不行？”
方麟爽快地答應了。
李曉軍突然覺得不甚把握，看了看大家，開始畫餅：“如果申請成功，你們都是團隊成員。”
想了想，又許願道：“每個人都可以帶一名家屬。”
除了方麟，四名博士生都歡呼了起來。
李曉軍看了看沉默不語的方麟，把他單獨留了下來，準備再進一步做做他的思想工作。
其他人離開後，方麟卻搶先一步開口說話：“李老師，您放心，我不會自己去提出申請的，但我也不會跟您去神國。”
李曉軍聽到前麵的話還略顯尷尬，聽到後麵卻隻剩下了迷惑不解，問道：“為什麽？”
方麟：“我是反神聯盟組織的成員。”
李曉軍被驚得直接從椅子上蹦了起來，連辦公椅都被他帶倒了。
他被嚇得有些六神無主了，急急忙忙地問道：“為什麽？”
方麟：“我們不能把人類的命運交到個別人手中，王棟居心叵測，這個世界上總得有製衡的力量吧。”
李曉軍神色複雜，臉上的表情變幻莫測。
他不覺得方麟這句話有邏輯上的錯誤，但也沒有那麽高的覺悟去螳臂擋車。
“你告訴我這個消息，不怕暴露自己的身份麽？”
“李老師，你放心，王棟傲慢得很，根本不在乎反神聯盟，我們許多成員都去了神國，他也沒有阻攔，其中還有一個是自由行走者。”
“我們這個組織其實是高鐵候車室事件後才成立的，雖然沿用了之前的名字，但其實並沒有實質的聯係。”
“王棟肯定早就知道了，但隻要我們不做出危害他的行為，他就懶得管我們。”
“他肯定不會因為我是反神聯盟組織的成員就阻攔你的申請。”
李曉軍神情舒緩了一些，他把椅子扶了起來，慢慢坐下，最後說：“既然如此，你也可以跟我去神國啊。”
方麟：“我在地球上有更重要的任務要完成。李老師，我今天不是要勸您加入反神聯盟，隻是希望將來需要您站隊的時候，您能站在人類這邊。”
李曉軍盯著滿臉悲壯之色的方麟看了許久，終於緩緩地點了點頭。
好在，現在的申請者大多是有專業背景的研究人員，都不缺乏等待的耐心。
命中的研究工作五花八門，什麽方向的都有，從小分子藥物實驗，到新架構的引力波探測器。
從反重力材料，到大規模人體實驗仿真環境。
甚至有一個團隊申請到了一款時間加速裝置用於農作物育種研究。
他們在神國裏得到一棟幾百層的大樓，每層都有兩畝農田，並配有以假亂真的陽光模擬裝置，和各種完全自動化的無人農機。
其中最神奇的是，每層樓的時間流速都能被任意控製，甚至最高能加速上千倍之多。
作物種下去，實驗程序設定好，一鍵按下去，一天之後作物就有了收成。
這個效率把全世界的農業研究人員都刺激得像打了雞血一樣。
有些自由行走者開始往自己的團隊裏麵塞外國研究人員，這些人竟然也都順順利利地進入了神國。
這一現象讓世界各主要國家內部都開始暗流湧動。
當然，在命中的這些申請書中，還是計算機領域的研究工作最多。各種性能屌炸天的gpu集群和超算平台被人們幻想了出來，用於各種各樣稀奇古怪的研究任務。
--------------------
早上，李曉軍把手下的五名博士生都召集到自己的辦公室。
他是985高校計算機專業的教授，今天這個會議主題非常明確，讓大家群策群力地規劃一個自由行走的申請書出來。
缺乏大規模gpu資源的他，麵對各大公司如烈火烹油般熱鬧的大模型研究，早已經產生了一種深深地無力感和危機感。
神國能夠為自由行走者提供的計算資源，在他看來簡直就是一根救命稻草。
何況自己媳婦也催得緊，讓他趕緊想辦法給他們一家弄個自由行走的名額出來。
大家現在都稱那些申請成功的自由行走者為“王棟的寵兒”，稱那些團隊成員為“夥計”。
好吧，他的確已經年近五十，但當一當這個“王棟的寵兒”又何妨？
今天，他就準備啟動這件事了，並且按照往常的工作習慣，遇事不決開會討論。
然而，出乎李曉軍預料的是，當他把會議的目的交待清楚後，竟然無一人發言，辦公室裏長時間陷入到冷場的狀態之中。
現在的年輕人都學精了，如果真有好點子，為什麽自己不去當“自由行走者”？
實際上，現在已經獲得成功的申請者，那些“王棟的寵兒”，還真以年輕人居多。
年輕人頭腦靈活，更容易想出超出常理的研究方向和研究設備出來。
而且，第一位王棟的寵兒，那個“太空粒子對撞機”的申請者，已經用他悲催的經曆給大家做了很好的示範，太在乎地球上的尊卑關係，臉皮不夠厚，最後倒黴的隻能是自己。
不得不承認，王棟的這一舉措，又把地球上講人脈、講資曆的學術圈子衝擊了個七零八落。
李曉軍後知後覺，此時才意識到問題所在，一時之間也麵沉似水。
大家在沉重的氣氛中僵持了半天，終於有人開口說話了，“我們弄個連續學習方麵的本子吧。”
說話的人叫方麟，是一位平時很讓李曉軍頭疼的學生。
倒不是說方麟是個很笨的學生，他才華橫溢，聰明得緊，應該是李曉明帶過的學生中最聰明的一個。
但就是太有個性，自己想研究什麽就研究什麽，不怎麽聽指揮。
李曉軍不止一次想勸退這個學生，或轉到別的老師名下。
不能給老師幹活的博士生當然不是好博士生。
李曉軍遲疑道：“這算是通用人工智能的範疇了，有點太超前了吧？”
方麟瘦瘦高高，頂著一腦袋的長頭發，雖然還沒長到盡顯藝術家的風範，但也足以像雞窩一樣亂糟糟的。
方麟：“王棟不就是想要超前的東西麽，越超前越好。”
餘下的同學都點頭讚同，表示深以為然。
李曉軍也覺得有理：“大家現在都在做自監督預訓練，有大模型大算力加持，出現了智能湧現。”
“這幾年連續學習相關的研究工作的確進展緩慢，好像沒有什麽清晰的方向，不好做啊。”
“不過，好做的都被申請完了，做連續學習也不錯，但咱們得弄出一個具有可行性的解決方案來。”
方麟：“連續學習麵對的主要問題是災難性遺忘。如果讓深度神經網分多次學習，學了後麵的知識，就把前麵的知識忘掉了，或者說覆蓋掉了。”
“所以，這是個如何在深度模型中保留記憶的問題。”
“已有方法大概采用了如下三種技術路線：”
“一是保留以前學過的部分代表性樣本作為記憶，這些樣本要參與到後麵的模型訓練，從而把記憶轉化為模型參數；”
“二是在模型學習新知識時限製參數在一個限定的範圍內變化，而這個範圍是由舊知識決定的，所以就達到了不會遺忘它們的效果；”
“三是每次弄出不同的網絡分支以對應不同的知識。”
“第三種方法性能最差，較少被關注到，但我反倒覺得最具合理性。”
“仿真人類的情況，我們的記憶難道不應該是神經網絡形式的，不同的記憶難道不應該是不同的子網絡麽？。”
“以前遇到的困難是如何將這些分支融合以達到記憶選擇的效果，然而不融合直接選擇也是一種辦法。”
“假設麵對一種任務，其所要學習的知識有一萬種子模式，每種模式我們都可以保留三個模型：一個用於生成已習得數據的模型，大模型形式的生成模型現在就很好用；另一個用於對新到達樣本做數據增強，達到將一個樣本變成上千個內容相同但表示不同的樣本的目的；最後一個才是這個子模式對應的處理模型。”
“用這三個模型來代表對某種模式知識的記憶。”
“訓練時，先將新到達樣本在每個記憶模式裏分別做數據增強，然後用對應的生成模型生產大量記憶樣本。把記憶樣本與增強樣本一起去重新訓練處理模型”
“如果該處理模型對各種生成樣本仍舊有較高的準確率，該子模式就被選中，把處理模型更新為重訓模型，當然，生成模型和增強模型也需要一起被重新訓練。”
“推理時，過程也是一樣的，將待處理樣本在每個知識子模式中都進行增強，然後與生成樣本一起重訓處理模型，根據重訓模型對各種生成樣本的準確率，決定是否接受其識別結果。”
李曉軍已經聽得眉頭緊皺：“有點道理，這是用模型訓練來解決模型選擇問題，或者說記憶選擇問題。”
“假如真有上萬個知識子模式，每一個樣本都要進行上萬次模型訓練才能完成對它的學習和推理。學習時還行，慢就慢了。但推理時必須經過上萬次模型訓練，這能忍受麽？”
方麟：“我看王棟已經提供的那些計算平台，算力也都高得離譜。我們可以大致估算出來，我們這個方案如果要達到實時的推理速度，大概需要什麽樣的算力，比現在最高算力還要高幾千萬倍。”
“不過這不是我們的問題，是王棟的問題，如果他能提供這樣的算力，我們就可以按照這一思路進行研究。”
“現在這個世界已經很魔幻了，不妨更魔幻一些。說不定王棟就喜歡這樣魔幻的東西呢！”
李曉軍被說服了，他充滿希冀地望著方麟：“方麟，你來主筆寫個草稿，我們再討論，行不行？”
方麟爽快地答應了。
李曉軍突然覺得不甚把握，看了看大家，開始畫餅：“如果申請成功，你們都是團隊成員。”
想了想，又許願道：“每個人都可以帶一名家屬。”
除了方麟，四名博士生都歡呼了起來。
李曉軍看了看沉默不語的方麟，把他單獨留了下來，準備再進一步做做他的思想工作。
其他人離開後，方麟卻搶先一步開口說話：“李老師，您放心，我不會自己去提出申請的，但我也不會跟您去神國。”
李曉軍聽到前麵的話還略顯尷尬，聽到後麵卻隻剩下了迷惑不解，問道：“為什麽？”
方麟：“我是反神聯盟組織的成員。”
李曉軍被驚得直接從椅子上蹦了起來，連辦公椅都被他帶倒了。
他被嚇得有些六神無主了，急急忙忙地問道：“為什麽？”
方麟：“我們不能把人類的命運交到個別人手中，王棟居心叵測，這個世界上總得有製衡的力量吧。”
李曉軍神色複雜，臉上的表情變幻莫測。
他不覺得方麟這句話有邏輯上的錯誤，但也沒有那麽高的覺悟去螳臂擋車。
“你告訴我這個消息，不怕暴露自己的身份麽？”
“李老師，你放心，王棟傲慢得很，根本不在乎反神聯盟，我們許多成員都去了神國，他也沒有阻攔，其中還有一個是自由行走者。”
“我們這個組織其實是高鐵候車室事件後才成立的，雖然沿用了之前的名字，但其實並沒有實質的聯係。”
“王棟肯定早就知道了，但隻要我們不做出危害他的行為，他就懶得管我們。”
“他肯定不會因為我是反神聯盟組織的成員就阻攔你的申請。”
李曉軍神情舒緩了一些，他把椅子扶了起來，慢慢坐下，最後說：“既然如此，你也可以跟我去神國啊。”
方麟：“我在地球上有更重要的任務要完成。李老師，我今天不是要勸您加入反神聯盟，隻是希望將來需要您站隊的時候，您能站在人類這邊。”
李曉軍盯著滿臉悲壯之色的方麟看了許久，終於緩緩地點了點頭。