在“克利夫蘭號”輪船上結伴而行的，是王世襄燕京大學時的同學李肇特，這位留學美國專攻組織解剖學的醫學人才，和王世襄一樣選擇了學成歸國一途，當然他立誌救死扶傷的夢想沒有破碎，回國後進入了北京醫學院工作。這是插話。
有同學李肇特同行，王世襄不必像一年前那樣結識新的旅伴，所以他感覺很快便到達了這班航船的終點站——香港。在到達香港之前，王世襄饒有興致地在途經馬尼拉時上岸遊覽市容，還在途經日本橫濱時又專程到東京看望了仍留居在此的吳文藻及冰心夫婦。對於王世襄的來訪和歸國選擇，吳文藻和冰心夫婦頗為感慨地說：“你去美國一年都回來了，我們也準備要回北京。”果然，吳文藻和冰心夫婦不久便歸國任教於北京大學。王世襄趕往神田，因為他特意購買的《東洋美術大觀》一書已經轉賣給了史克門，幸運的是他在此買到了此書的平裝本，還購買到了《敦煌壁畫の研究》和《纂組英華》等書籍，這都成為了他日後工作時經常參閱的有用圖書。
由美至港，王世襄和同學李肇特在海上航行了不足一月光景，而由港到津卻費時超過一月，這主要是因為當時節節敗退的國民黨軍依然在渤海灣一帶騷擾，致使港津之間輪船停止航行。為了能早日返回北京，王世襄到旅行社領取了在港用費並托人購買前往天津的船票，自己幾乎每天都要到幾家輪船公司打聽船期，因此竟能夠與同樣盤桓於這幾家輪船公司的同學李肇特相遇。雖然當時寓居香港的還有他三舅母及表弟金尊五、表叔沈崑三、漢奸姑父趙尊嶽（偽上海市長）及姑母王季淑等眾多親戚，但他還是心不在港。
後來，王世襄得知當時的廣州城還未解放，遂想起那裏一家保險公司職員楊新倫藏有十幾張很好的七弦琴，便決定前往觀看。當時，從香港九龍到廣州的水路非常便捷，所以王世襄很快便乘船到達廣州，並找到楊新倫觀看了他的藏琴，還聆聽了他的古琴演奏。非常有趣的是，這位藏琴者後來將其部分所藏捐獻給了中國音樂研究所，那可是王世襄被故宮博物院開除後的容身之地。
短暫的廣州之行王世襄沒有忘記拜訪當時任教於嶺南大學的容庚先生，這不僅因為他曾是王世襄燕京大學時的老師，還因為王世襄得知他到廣東後曾收集有諸多書畫以及與書畫有關的圖籍。從廣州返回九龍，王世襄住在一家旅館內又焦急地等待一些時日後，終於搭乘上了從香港駛向天津的“漢陽號”輪船。
民國三十八年（1949）8月14日，王世襄回到了分別一年的北京城，遂立即前往故宮博物院報到，並在院長馬衡的陪同下拜見了時任文化部國家文物事業管理局副局長王冶秋。隨後，他依舊留任故宮博物院古物館科長一職，開始了他極為短暫的立誌強館之路。隻是，這條路不僅太過短暫而且荊棘密布，或者說還未起步就被重重阻力阻擋了。
身許故宮博物院並立誌要將其建設成為世界一流博物館的王世襄，針對院中當時諸多亟待籌劃和展開的基礎性工作，決心暫時放棄作為一名青年學者理應從事的學術研究著述事業，積極投身到基礎工程建設當中，比如“清理修繕閑置院落，開辟庫房，製造庋藏架櫃，研究文物分類，編印藏品簿冊，製作文物登記卡片，以及製訂提取陳列、送還庫房等規章製度”，等等。這些對於從歐美先進博物館剛剛取經歸來的王世襄來說，都是他駕輕就熟並多有創新的事務性工作。然而，當他將自己精心擬定的工作計劃、方法步驟及費用申請等，一一送呈到黨代表那裏審閱批示時，卻一再地被取消或削減，有的甚至是拖延擱置多日後便不置可否了。對於這種工作處處受阻且進展極為困難的狀況，抱有奉獻精神的王世襄雖然一時難以接受，也對新中國剛剛成立後實行黨代表統攬一切的這種製度表示理解，可王世襄不能理解的是為什麽他在不研究不調查不了解的情況下，一味擅自地做出種種不合理之決定呢？
這是一個政治掛帥、階級鬥爭為綱的非凡時代，政治狂飆或微風能夠在瞬間刮遍中華大地上的每一個角落，即便是隱藏在閉塞偏僻的山區村落也概莫能外，何況地處政治風向中心的故宮博物院呢！所以，王世襄即便不能理解那種種不合理之決定，也不妨礙政治壓倒一切等諸多看似不合理之任務的頻頻降臨。比如，1950年王世襄已經出任故宮博物院陳列部主任後，一天突然接到上級布置的一項政治性任務，那就是為了以電影形式宣傳蘇聯老大哥與中國小兄弟之間的深厚友誼，蘇聯文化機構派遣專家來到北京拍攝紀錄片，要求故宮博物院必須全力予以配合。對於這樣一項關係到兩個偉大社會主義兄弟國家之間友誼的政治任務，故宮博物院在黨代表領導下自然不敢有絲毫怠慢，而當蘇聯專家拍攝完宮殿建築之後，將攝像機鏡頭轉向院藏文物特別是提出他們的拍攝方法時，當時負責此項工作的王世襄和朱家溍兩人都嚇了一跳，因為蘇聯專家要求將文物包括易碎的瓷器放在能旋轉的工作台麵上，以便拍攝到文物全形及周身紋飾，然而他們卻沒有攜帶任何專用設備而要求故宮博物院負責提供。
就在王世襄和朱家溍兩人為此感到為難時，總務處人員竟然從當年溥儀遺留物品中找到了一具老舊的西洋留聲機，拆掉喇叭後用一塊中心挖洞的木板墊在機盤上便成了工作台。王世襄和朱家溍兩人發現不僅這塊木板不平穩，就連留聲機的旋轉速度也是忽快忽慢，這實在難以保證放在其上的文物安全。當王世襄和朱家溍兩人提出必須改進這一設備的建議時，不僅蘇聯專家不予認可，就連向院領導匯報後也隻得到了“專家工作不能延誤，更換設備免議”的嚴肅指示。
既然如此，王世襄和朱家溍兩人不得不創造條件來保證蘇聯專家的拍攝工作。於是，他倆分工協作，由朱家溍坐鎮文物庫房負責挑選院藏多件且重複的官窯瓷器，並適時搭配一些晚期不甚重要的瓷器，並用墊有厚厚棉褥的大筐抬往拍攝地點。王世襄則負責拍攝現場工作。拍攝地點是王世襄悉心挑選的一處殿堂院內比較安全的東廡。即便如此，當工作人員因大筐無法將文物抬進屋內，而按照蘇聯專家要求將一件件瓷器從大筐內取出來，然後再一一擺放在東廡窗外條石上時，負責拍攝現場文物安全的王世襄卻隻能緊張地一直站在臨時工作台的後麵，以防轉動中的瓷器從那上麵掉下來時進行急救。果不出所料，王世襄這樣的擔心並非多餘。一次，當一件瓷瓶幾乎傾倒時，幸虧王世襄箭步上前用雙手緊緊地抓住，才避免了那隻瓷瓶粉身碎骨，而王世襄則為此驚出了一身冷汗。
時過不久，王世襄又聽到窗外“當”的一聲，原來工人從筐中取出一件蓋罐時不慎將蓋子滑落，正巧砸在旁邊的一摞瓷盤上，並將上麵那個瓷盤砸掉了拇指大的一塊瓷片，這讓王世襄既心疼又忐忑。心疼自不必說；忐忑，是因為按照有關規定，凡是出了事故，作為負責人的他必須做出書麵檢討，而檢討能否在黨代表那裏得到通過還是一個未知數。正如王世襄所忐忑的那樣，當他實話實說地寫出檢討，先後兩次修改也未能通過，直到他在檢討中表示承擔一切責任並請求處分才算是過了關。
此事過後，有一天王世襄和朱家溍兩人在古物館午休時，對京劇造詣精深的朱家溍見王世襄滿臉委屈的模樣，遂脫口而出了《群英會》中的一句台詞：“這曹營的事難辦得緊呀！”而王世襄立即表示抗議：“你不該把我比作蔣幹。他中了周瑜之計，害得曹操誤殺良將，竟還要邀功，被狠狠啐了一口。我可和他完全不同。”見王世襄如此說，朱家溍遂又緩和氣氛說：“咱們且不說蔣幹、曹瞞，故宮的事難辦，你總該同意吧。”又過了幾天，生性幽默的朱家溍見到王世襄，忽然得意地說：“我編了一個歇後語，很妙——‘俄羅蘇（su）拍電影，砸詞（瓷）兒’。”王世襄一聽此語，不由笑道：“你真是一身都是戲。”
原來，“砸詞兒”一般是指京劇演員在演出時出了差錯，比如忘詞、穿錯戲裝或者戴錯了髯口等。當時，這個詞在北京人的日常生活中經常使用，意思與“砸鍋”比較近似，但比“砸鍋”表示徹底完蛋的意思要輕一些，而“砸瓷兒”和“砸詞兒”諧音，可謂是巧妙至極。更有趣的是，在老北京的語言中，“俄羅蘇”就是指俄羅斯，而且原本關於俄羅斯的歇後語在老北京人中就經常使用，比如：“俄羅蘇（su）賣毯子——披著吆喝。”這次在故宮博物院裏“砸瓷兒”的正是俄羅斯，想來也真是為老北京語言又增加了一絲趣味。
不過，朱家溍創造這條歇後語之趣味，實在改變不了故宮博物院當時事情難辦之狀況，有些工作之難辦程度竟是王世襄所意想不到的，比如他後來在《與西諦先生一夕談》的文章中回憶過這樣一件事。1950年的一天，文化部文物事業管理局局長鄭振鐸（字西諦）來到故宮博物院找到王世襄，鄭重而具體地下達任務說：“太和殿抗美援朝展覽兩日後到期，你必須動員古物館全體人員，在三天內完成該展的撤陳並布置好‘偉大的祖國’展覽，把院藏的精品盡量陳列出來。”
對於局長鄭振鐸親自下達的這一任務，王世襄當時就聽呆了，他認為這是無論如何也不可能完成的事情。因為雖然當時舉辦的抗美援朝展覽主要是以圖表為主，也有一些書畫和高麗瓷器等，即便這些工作能夠在一天之內完成撤陳，但是要想兩天內以盡量多的精品文物在偌大的太和殿內布置好一個足以顯示偉大祖國風采的藝術展覽，簡直是太難了。不過，新生的人民共和國是敢於也能夠創造奇跡的，比如十個月時間完成舉世矚目的人民大會堂工程，等等。所以，當時王世襄對局長鄭振鐸這種限期完成工作的長官意誌產生意見，很顯然是不符合當時國情要求的。當然，王世襄這種意見在與西諦先生後來的一夕談話中有所改變，並理解了即便作為局長的他在那時也有許多無可奈何。
國情如此，王世襄不得不統籌安排加班工作，組織調動了五六十名館員和工人投入到這場布展戰鬥中，還在從未安裝過電燈的太和殿裏架設了臨時照明設備，吃飯喝水也指定專門人員負責送到工作現場，就連大小便也得在現場一個圈定的應急廁所內解決。就這樣，王世襄等人經過三天三夜的連續奮戰，終於按期完成了名為“偉大的祖國”這一展覽。關於這一應急展覽的陳列方案，王世襄在回憶中這樣記述說：
陳列方案是臨時草擬的，陳列櫃幾乎全部從別處抬來，自西而東依年代先後陳列展品。西端從商周青銅、玉器開始，除少數為南遷所遺外，不少選自德人楊寧史舊藏。首次麵世，劉肅曾先生捐贈重約二百二十公斤的虢季子白盤，四人抬入殿內，隻好放在臨時搭好的台座上任人撫摸。接著是漢唐時期文物，陶俑、唐三彩等占較大位置；也有銅器、金銀器、玉器、陶瓷等。宋元器物從殿的中部偏東開始，法書、名畫展櫃挨著金柱擺放，展品有易（培基）案（注：關於首任故宮博物院院長易培基被誣告盜取院中文物一案，筆者曾在“中國·世界遺產探秘叢書”《守望紫禁城》卷中有詳細記述）被黃賓虹定為贗品，後又被蔥玉兄（張珩）改正的宋徽宗《聽琴圖》和馬麟梅花軸等。還有從溥儀天津故居保險櫃中取出的馬和之、趙孟頫、宋克的幾件高僅尺許的宋元小卷。此外還有宋元官窯精品等。以下麵積全部被明清文物占據，多不勝舉。最後兩件經我放入展櫃的是故宮鎮庫之寶雍正琺琅彩雉雞牡丹紋碗，和購自郭觶齋的乾隆仿古銅釉犧耳尊。因為它們最珍貴又最嬌嫩，等大體擺好，場地較為平靜時再出囊入櫃較為安全。
即便如此，王世襄在捧著這兩件國寶放入展櫃時，依然是“腿發軟，心發慌，手發抖，生怕萬一閃失”，那他“將百死莫贖”了。
其實，如果單是工作遭受百般阻撓或者多有勉為其難的臨時性任務交給王世襄的話，他還是能夠逐漸實現其強館之夢的，可事實上他身為故宮博物院人員卻有太多的時間沒能在院中工作。比如，1950年王世襄作為從舊政府過來者，被送到位於北京西苑的華北革命大學改造一年；此後，王世襄又作為廣西南寧土改工作隊一員，在隊長田漢的帶領下前往該地進行土改工作。而到了1952年，在廣西南寧參加土改工作已經兩個月的王世襄等人被緊急電召回京，火車一到站他們便被早已等候的卡車拉進了故宮博物院，並按要求所有人員暫住院中不得回家。麵對如此緊急的緊張氣氛，長途跋涉的王世襄等人暫住院中的那一夜是否還能安睡就不得而知了，反正第二天淩晨全院人員被分作兩組送往東嶽廟和白雲觀兩處，開始了一場以反貪汙、反盜竊和反浪費為主題的聲勢浩大的“三反”運動學習。名為學習，實際上就是要求從舊政府過來的他們向“打虎英雄”徹底交代自己的曆史問題，而在“交代”前麵還應該加上“勒令”這一前綴詞，因為“打虎英雄”對待他們所采取的審查方式，是一種帶有戰術色彩的“疲勞轟炸”，也就是不許解釋不準分辯夜以繼日地突擊審查。
關於王世襄這位“家庭出身不好，曾在洋學校讀書、在國民黨教育部清損會工作、收回大量被敵偽劫奪文物，並接受美國財團獎學金出國考察一年”等帶有諸多問題的“大老虎”，遂成為“打虎英雄”突擊審查的重中之重，並被單獨監禁一室接受十多名“打虎英雄”的輪番“轟炸”。“打虎英雄”們審查王世襄的理由很簡單，那就是“你是坐飛機來的接收大員，專職就是‘接收’文物，連副代表都沒有來。有這樣的好機會，哪能不伸手撈一把？所以我敢百分之百地斷定你有盜寶行為”！另有一位“打虎英雄”則說：“你在短短兩年內收回七批文物，還從東京運回善本書。如果你沒有好處，豈肯如此日夜操勞，盡心盡力？！”麵對“打虎英雄”們這一極為荒唐的審查邏輯，王世襄本想從自己出身幾代清廉官宦之家，對文物和藝術無比熱愛的心理出發，將自己身許故宮博物院並立誌要將其建設成為世界一流博物館的理想，以及在朱桂老的指導和策劃下如何追回國寶等經曆，一一詳細如實地向“打虎英雄”們進行交代。沒想到他剛解釋了幾句，便被一位“打虎英雄”喝令停止，並聲色俱厲地大聲訓斥道：“你的花言巧語騙不了我們，隻能增加你的罪行！”另一位“打虎英雄”則說：“朱桂老是什麽人？你老提他，把他的名字寫給我看看。”而當王世襄工整地寫下“朱桂辛，名啟鈐”幾個字時，那位“打虎英雄”竟然說：“什麽‘桂’呀，‘鈴’呀（把‘鈐’讀成‘鈴’），是個旦角演員吧？”對於“打虎英雄”們如此粗俗無知，王世襄明白他的任何解釋都毫無用處，於是幹脆一言不發了。既然王世襄如此“頑固不化”，“打虎英雄”們更是認定他犯有極為嚴重的盜寶罪，用力拍打桌子等威脅恐嚇手段都一一使用上了，可王世襄卻交代不出一件讓他們感到興奮的事。
王世襄本人交代不出問題，本來就讓“打虎英雄”們惱火，可他還“阻撓”別人“交代”問題，這讓“打虎英雄”們更加大動肝火，決定“判處”王世襄死刑並宣布立即執行槍決。對此，王世襄後來曾這樣回憶說：
故宮同事李連鏜，工資有限，但喜歡收集絲織刺繡小品，如荷包、煙囊、扇套、經板等。此類之物並不值錢，古玩店不收，隻有掛貨鋪、曉市和街頭地攤才有。我有時遇見他買這些物品。運動中他被逼得無奈，隻好把買的東西送呈隊部，聲稱都是偷故宮的，立即受到表揚。我因受毛主席的教導，堅信事事必須“實事求是”，既然確知那些小件都是李連鏜花錢買的，不是偷故宮的，就認為該實話實說，不能弄虛作假。何況“三反”是嚴肅的政治鬥爭，如人人以假亂真，真盜寶犯豈不反能蒙混過關。我認為說明真相實有必要，因此到隊部說明此事。不料第二天停止一切活動，特別為我召開一個全體大會，大殿前神道正中擺一張桌子，設宣判者席，命我跪在神道正中方磚地上，兩旁士兵持槍排列。宣布王世襄罪大惡極，不僅自己拒不交代，還破壞他人交代，罪不容誅。批鬥時千人高喊口號，聲震殿瓦。對這從未見過的陣勢，未免有些恐慌。隨即宣布已呈報上級，批示後，立即槍決。我不了解國家刑法，真以為末日已至。此時曾一度萌生自殺之念，覺得被人槍斃還不如自己上吊。
經過一夜輾轉反側激烈的思想鬥爭之後，王世襄覺得“倘為了如實匯報而被處死，官方必將承擔誤判之罪，被批鬥者自殺，不僅白死，還犯了‘自絕於人民’之罪，故萬萬不可”！當然，“打虎英雄”們所采取的這一招，並非真的要將王世襄槍斃了事，而是希望通過這聲勢巨大的威脅恐嚇讓他徹底交代自己所犯“罪行”。不料，王世襄既然已經抱定了絕對不能自殺之念，反而變得更加堅強，以致後來即便是無中生有更嚴重的汙蔑，他也表示“隻要活得長，一定能笑到最後”。
不過，“打虎英雄”們認為既然你王世襄如此“頑固不化”，便轉而采取了一種迂回策略，那就是想從通過尋找院長馬衡的盜寶證據來打開王世襄這塊堅固堡壘的缺口，但是他們選擇的突破口又失算了，那就是他們認為王世襄經過這次“審判”應該變得聰明些，會作為院長親信揭發馬衡盜寶行為而減輕自己的“罪行”，而由此“打虎英雄”們相信這也必將最終牽連出王世襄自身的盜寶行為。然而，“打虎英雄”們這一自以為高妙之計，卻被王世襄的“揭發”愚弄了。對此，王世襄在回憶文章中這樣記述道：
他們先逼問馬院長如何指使我為他盜寶並設法潛移院外。我說：“絕對沒有。”又追問馬院長可曾指使我拿文物給他。我說這倒有過。他們一時興奮起來，問：“你給他拿的是什麽文物？”我說：“宋代名畫。”他們更興奮了，又問：“隨後又怎樣？”我說：“院長命我送往陳列室展出。”
可以想見，王世襄這一“開玩笑”式的“供述”，實在讓這些“打虎英雄”們氣急敗壞，而王世襄卻坦然回應說：“不是開玩笑，是事實，而且是你們要我講的。”
荒唐時代自然容易產生荒唐事情，而且層出不窮的荒唐事情實在是引人發笑也讓人深思。對此，王世襄就曾回憶了這樣一件可笑之事：
當時和我同關在東嶽廟的有金毓鋆先生，滿清宗室，北洋政府時期曾在駐挪威使館任職，年逾六旬，是一位膽小怕事的好好先生，因對古玉有研究，受聘故宮而卷入運動。他受不了無休止的逼迫，隻好胡編亂造，說偷了若幹件玉器。經查明故宮沒有此物，“打虎英雄”們認為他用假交代來掩蓋真盜竊，鬥得更狠。和金老關在一室的有科員張宗良，是個真盜竊犯。因交代材料都核對屬實，並從家中起出贓物，所以受到表揚，命他仔細回憶，繼續交代。金老看在眼裏，十分氣憤，認為太不公平：小張真偷了，反倒有靜坐思考、喝茶抽煙的時候；我清清白白，竟整天挨鬥，真是豈有此理！受審者每次去廁所都有人跟隨，以防串供。一天張宗良在前，金老在後。事有湊巧，尾隨者失職，沒有跟上。金老加緊幾步，小聲地對張說：“二哥（實際上金老比張大二十多歲）！二哥！救救我吧，把您經手（此二字妙）的勻我兩件好交代，要不實在活不了了！今後如能活著出去一定好好請請您！”
可以想見，金老殷切誠懇所求勻者並非什麽珍貴之物而是賊贓，這種荒唐之極的事情非在那個荒唐時代豈能產生？舉此一例別無他意，隻想說明王世襄在那種非常時候竟然敢對“打虎英雄”們開以上之玩笑，豈不是自討苦吃嗎？果然，東嶽廟四個月“學習”結束後，大多數人員都回到了故宮博物院，即便是真有盜寶行為但交代徹底坦白者也依然留用，而“拒不交代”的王世襄在回到家中僅僅兩天之後，便接到派出所要求他前往問話的通知。當他心懷忐忑地一邁進派出所大門，便被銬上手銬，隨後被派出所雇的三輛三輪車直接押送到了前門內路東那朱紅大門的公安局裏，從此開始了他長達十個月的鐵窗生涯。
初進監獄，王世襄便不叫作王世襄，而叫三十八號，每當聽到這一吆喝，他都必須高聲答“有”，否則遭到嗬斥可能算是客氣的了。在看守所的十個月裏，王世襄“享受”了犯人應有的一切“待遇”，比如手銬腳鐐等。至於沿襲千年在牢房盡端放置尿桶的舊製，王世襄初入牢房也必須按規定將鋪蓋放在靠近尿桶處，隻有等到進入新一號犯人時才能挪移一個鋪位，一個多月後他漸漸離開了那散發著刺鼻腥臊味的尿桶，但是同處一室那氣味又能好到哪裏去呢？
當然，監獄生活免不了要接受一次次的審訊，負責審訊王世襄的是一位年過半輩的“老班長”，審訊態度不似“打虎英雄”那樣粗暴，每次都隻是問一些問題，並讓將沉重的手銬腳鐐去掉。除了接受審訊之外，王世襄和所有犯人一樣還要參加一些必要的改造性勞動，比如糊火柴盒等。這樣的勞動雖然並不勞累，但是早晚兩餐窩頭鹹菜的生活，依然使身強力壯的王世襄逐漸感到乏力。
十個月後，當王世襄出獄時竟然步履踉蹌，還未走出監獄大門就已氣喘籲籲了。數日後王世襄到醫院一檢查身體才明白，原來在監獄裏由於是眾多犯人同吃一盆飯菜，使他傳染上了嚴重的結核性肋膜炎。伴隨結核病而來的，當然還有公安局發給王世襄“取保釋放”的通知，以及隨後國家文物局發給他上麵寫有“已開除故宮公職，可去勞動局登記，自謀出路”內容的一紙冷冰冰的公文。那麽，拖著嚴重結核性肋膜炎病軀的王世襄將何去何從，他奉獻故宮博物院並立誌強館的夢想還能夠實現嗎？
其實，“三反”運動過後王世襄還是有機會重返故宮博物院的。彼時，那位飛揚跋扈的黨代表已被調離，器重他的院長馬衡雖因肺癌而抑鬱逝去，但是接替院長之職的是吳仲超先生。這位極為愛惜人才的院長吳仲超，上任不久便通過文化部領導與中央音樂學院民族音樂研究所協商，想將已經就任該所副研究員的王世襄重新調回故宮博物院，但是時任該所所長楊蔭瀏和副所長李元慶兩人都沒有同意，而當征求王世襄本人意見時，對故宮博物院仍然心有餘悸的他也沒有明確表達自己的態度，此事就此擱淺。
既然不能將王世襄調回故宮博物院工作，院長吳仲超便想出了一個折中的方法，那就是於1957年先後聘請王世襄為故宮博物院“曆代藝術專門委員會委員”和“文物修複委員會委員會委員”，希望他每周能到故宮博物院協助工作一兩次，為此還專門在禦花園西南角為王世襄設置辦公室及午休床榻。此後半年間，王世襄曾前往故宮博物院參加過幾次會議和文物鑒定工作，但是不久又因被中央音樂學院民族音樂研究所劃為“右派”，便再也不宜到故宮博物院參加這類工作了。
時間到了1966年，已經摘去“右派”帽子的王世襄雖然“歸隊”來到文物博物館研究所工作，並再次被故宮博物院聘任為“非文物審查委員會委員”，但是史無前例的“文化大革命”已經開始，就此王世襄徹底脫離了他魂牽夢縈的故宮博物院，他的強館之夢也終究成為一夢而已。
如此，下麵不得不進入王世襄的人生晦暗時期，而同時，這也是他成就輝煌事業極為重要的積累醞釀時期。
有同學李肇特同行，王世襄不必像一年前那樣結識新的旅伴，所以他感覺很快便到達了這班航船的終點站——香港。在到達香港之前，王世襄饒有興致地在途經馬尼拉時上岸遊覽市容，還在途經日本橫濱時又專程到東京看望了仍留居在此的吳文藻及冰心夫婦。對於王世襄的來訪和歸國選擇，吳文藻和冰心夫婦頗為感慨地說：“你去美國一年都回來了，我們也準備要回北京。”果然，吳文藻和冰心夫婦不久便歸國任教於北京大學。王世襄趕往神田，因為他特意購買的《東洋美術大觀》一書已經轉賣給了史克門，幸運的是他在此買到了此書的平裝本，還購買到了《敦煌壁畫の研究》和《纂組英華》等書籍，這都成為了他日後工作時經常參閱的有用圖書。
由美至港，王世襄和同學李肇特在海上航行了不足一月光景，而由港到津卻費時超過一月，這主要是因為當時節節敗退的國民黨軍依然在渤海灣一帶騷擾，致使港津之間輪船停止航行。為了能早日返回北京，王世襄到旅行社領取了在港用費並托人購買前往天津的船票，自己幾乎每天都要到幾家輪船公司打聽船期，因此竟能夠與同樣盤桓於這幾家輪船公司的同學李肇特相遇。雖然當時寓居香港的還有他三舅母及表弟金尊五、表叔沈崑三、漢奸姑父趙尊嶽（偽上海市長）及姑母王季淑等眾多親戚，但他還是心不在港。
後來，王世襄得知當時的廣州城還未解放，遂想起那裏一家保險公司職員楊新倫藏有十幾張很好的七弦琴，便決定前往觀看。當時，從香港九龍到廣州的水路非常便捷，所以王世襄很快便乘船到達廣州，並找到楊新倫觀看了他的藏琴，還聆聽了他的古琴演奏。非常有趣的是，這位藏琴者後來將其部分所藏捐獻給了中國音樂研究所，那可是王世襄被故宮博物院開除後的容身之地。
短暫的廣州之行王世襄沒有忘記拜訪當時任教於嶺南大學的容庚先生，這不僅因為他曾是王世襄燕京大學時的老師，還因為王世襄得知他到廣東後曾收集有諸多書畫以及與書畫有關的圖籍。從廣州返回九龍，王世襄住在一家旅館內又焦急地等待一些時日後，終於搭乘上了從香港駛向天津的“漢陽號”輪船。
民國三十八年（1949）8月14日，王世襄回到了分別一年的北京城，遂立即前往故宮博物院報到，並在院長馬衡的陪同下拜見了時任文化部國家文物事業管理局副局長王冶秋。隨後，他依舊留任故宮博物院古物館科長一職，開始了他極為短暫的立誌強館之路。隻是，這條路不僅太過短暫而且荊棘密布，或者說還未起步就被重重阻力阻擋了。
身許故宮博物院並立誌要將其建設成為世界一流博物館的王世襄，針對院中當時諸多亟待籌劃和展開的基礎性工作，決心暫時放棄作為一名青年學者理應從事的學術研究著述事業，積極投身到基礎工程建設當中，比如“清理修繕閑置院落，開辟庫房，製造庋藏架櫃，研究文物分類，編印藏品簿冊，製作文物登記卡片，以及製訂提取陳列、送還庫房等規章製度”，等等。這些對於從歐美先進博物館剛剛取經歸來的王世襄來說，都是他駕輕就熟並多有創新的事務性工作。然而，當他將自己精心擬定的工作計劃、方法步驟及費用申請等，一一送呈到黨代表那裏審閱批示時，卻一再地被取消或削減，有的甚至是拖延擱置多日後便不置可否了。對於這種工作處處受阻且進展極為困難的狀況，抱有奉獻精神的王世襄雖然一時難以接受，也對新中國剛剛成立後實行黨代表統攬一切的這種製度表示理解，可王世襄不能理解的是為什麽他在不研究不調查不了解的情況下，一味擅自地做出種種不合理之決定呢？
這是一個政治掛帥、階級鬥爭為綱的非凡時代，政治狂飆或微風能夠在瞬間刮遍中華大地上的每一個角落，即便是隱藏在閉塞偏僻的山區村落也概莫能外，何況地處政治風向中心的故宮博物院呢！所以，王世襄即便不能理解那種種不合理之決定，也不妨礙政治壓倒一切等諸多看似不合理之任務的頻頻降臨。比如，1950年王世襄已經出任故宮博物院陳列部主任後，一天突然接到上級布置的一項政治性任務，那就是為了以電影形式宣傳蘇聯老大哥與中國小兄弟之間的深厚友誼，蘇聯文化機構派遣專家來到北京拍攝紀錄片，要求故宮博物院必須全力予以配合。對於這樣一項關係到兩個偉大社會主義兄弟國家之間友誼的政治任務，故宮博物院在黨代表領導下自然不敢有絲毫怠慢，而當蘇聯專家拍攝完宮殿建築之後，將攝像機鏡頭轉向院藏文物特別是提出他們的拍攝方法時，當時負責此項工作的王世襄和朱家溍兩人都嚇了一跳，因為蘇聯專家要求將文物包括易碎的瓷器放在能旋轉的工作台麵上，以便拍攝到文物全形及周身紋飾，然而他們卻沒有攜帶任何專用設備而要求故宮博物院負責提供。
就在王世襄和朱家溍兩人為此感到為難時，總務處人員竟然從當年溥儀遺留物品中找到了一具老舊的西洋留聲機，拆掉喇叭後用一塊中心挖洞的木板墊在機盤上便成了工作台。王世襄和朱家溍兩人發現不僅這塊木板不平穩，就連留聲機的旋轉速度也是忽快忽慢，這實在難以保證放在其上的文物安全。當王世襄和朱家溍兩人提出必須改進這一設備的建議時，不僅蘇聯專家不予認可，就連向院領導匯報後也隻得到了“專家工作不能延誤，更換設備免議”的嚴肅指示。
既然如此，王世襄和朱家溍兩人不得不創造條件來保證蘇聯專家的拍攝工作。於是，他倆分工協作，由朱家溍坐鎮文物庫房負責挑選院藏多件且重複的官窯瓷器，並適時搭配一些晚期不甚重要的瓷器，並用墊有厚厚棉褥的大筐抬往拍攝地點。王世襄則負責拍攝現場工作。拍攝地點是王世襄悉心挑選的一處殿堂院內比較安全的東廡。即便如此，當工作人員因大筐無法將文物抬進屋內，而按照蘇聯專家要求將一件件瓷器從大筐內取出來，然後再一一擺放在東廡窗外條石上時，負責拍攝現場文物安全的王世襄卻隻能緊張地一直站在臨時工作台的後麵，以防轉動中的瓷器從那上麵掉下來時進行急救。果不出所料，王世襄這樣的擔心並非多餘。一次，當一件瓷瓶幾乎傾倒時，幸虧王世襄箭步上前用雙手緊緊地抓住，才避免了那隻瓷瓶粉身碎骨，而王世襄則為此驚出了一身冷汗。
時過不久，王世襄又聽到窗外“當”的一聲，原來工人從筐中取出一件蓋罐時不慎將蓋子滑落，正巧砸在旁邊的一摞瓷盤上，並將上麵那個瓷盤砸掉了拇指大的一塊瓷片，這讓王世襄既心疼又忐忑。心疼自不必說；忐忑，是因為按照有關規定，凡是出了事故，作為負責人的他必須做出書麵檢討，而檢討能否在黨代表那裏得到通過還是一個未知數。正如王世襄所忐忑的那樣，當他實話實說地寫出檢討，先後兩次修改也未能通過，直到他在檢討中表示承擔一切責任並請求處分才算是過了關。
此事過後，有一天王世襄和朱家溍兩人在古物館午休時，對京劇造詣精深的朱家溍見王世襄滿臉委屈的模樣，遂脫口而出了《群英會》中的一句台詞：“這曹營的事難辦得緊呀！”而王世襄立即表示抗議：“你不該把我比作蔣幹。他中了周瑜之計，害得曹操誤殺良將，竟還要邀功，被狠狠啐了一口。我可和他完全不同。”見王世襄如此說，朱家溍遂又緩和氣氛說：“咱們且不說蔣幹、曹瞞，故宮的事難辦，你總該同意吧。”又過了幾天，生性幽默的朱家溍見到王世襄，忽然得意地說：“我編了一個歇後語，很妙——‘俄羅蘇（su）拍電影，砸詞（瓷）兒’。”王世襄一聽此語，不由笑道：“你真是一身都是戲。”
原來，“砸詞兒”一般是指京劇演員在演出時出了差錯，比如忘詞、穿錯戲裝或者戴錯了髯口等。當時，這個詞在北京人的日常生活中經常使用，意思與“砸鍋”比較近似，但比“砸鍋”表示徹底完蛋的意思要輕一些，而“砸瓷兒”和“砸詞兒”諧音，可謂是巧妙至極。更有趣的是，在老北京的語言中，“俄羅蘇”就是指俄羅斯，而且原本關於俄羅斯的歇後語在老北京人中就經常使用，比如：“俄羅蘇（su）賣毯子——披著吆喝。”這次在故宮博物院裏“砸瓷兒”的正是俄羅斯，想來也真是為老北京語言又增加了一絲趣味。
不過，朱家溍創造這條歇後語之趣味，實在改變不了故宮博物院當時事情難辦之狀況，有些工作之難辦程度竟是王世襄所意想不到的，比如他後來在《與西諦先生一夕談》的文章中回憶過這樣一件事。1950年的一天，文化部文物事業管理局局長鄭振鐸（字西諦）來到故宮博物院找到王世襄，鄭重而具體地下達任務說：“太和殿抗美援朝展覽兩日後到期，你必須動員古物館全體人員，在三天內完成該展的撤陳並布置好‘偉大的祖國’展覽，把院藏的精品盡量陳列出來。”
對於局長鄭振鐸親自下達的這一任務，王世襄當時就聽呆了，他認為這是無論如何也不可能完成的事情。因為雖然當時舉辦的抗美援朝展覽主要是以圖表為主，也有一些書畫和高麗瓷器等，即便這些工作能夠在一天之內完成撤陳，但是要想兩天內以盡量多的精品文物在偌大的太和殿內布置好一個足以顯示偉大祖國風采的藝術展覽，簡直是太難了。不過，新生的人民共和國是敢於也能夠創造奇跡的，比如十個月時間完成舉世矚目的人民大會堂工程，等等。所以，當時王世襄對局長鄭振鐸這種限期完成工作的長官意誌產生意見，很顯然是不符合當時國情要求的。當然，王世襄這種意見在與西諦先生後來的一夕談話中有所改變，並理解了即便作為局長的他在那時也有許多無可奈何。
國情如此，王世襄不得不統籌安排加班工作，組織調動了五六十名館員和工人投入到這場布展戰鬥中，還在從未安裝過電燈的太和殿裏架設了臨時照明設備，吃飯喝水也指定專門人員負責送到工作現場，就連大小便也得在現場一個圈定的應急廁所內解決。就這樣，王世襄等人經過三天三夜的連續奮戰，終於按期完成了名為“偉大的祖國”這一展覽。關於這一應急展覽的陳列方案，王世襄在回憶中這樣記述說：
陳列方案是臨時草擬的，陳列櫃幾乎全部從別處抬來，自西而東依年代先後陳列展品。西端從商周青銅、玉器開始，除少數為南遷所遺外，不少選自德人楊寧史舊藏。首次麵世，劉肅曾先生捐贈重約二百二十公斤的虢季子白盤，四人抬入殿內，隻好放在臨時搭好的台座上任人撫摸。接著是漢唐時期文物，陶俑、唐三彩等占較大位置；也有銅器、金銀器、玉器、陶瓷等。宋元器物從殿的中部偏東開始，法書、名畫展櫃挨著金柱擺放，展品有易（培基）案（注：關於首任故宮博物院院長易培基被誣告盜取院中文物一案，筆者曾在“中國·世界遺產探秘叢書”《守望紫禁城》卷中有詳細記述）被黃賓虹定為贗品，後又被蔥玉兄（張珩）改正的宋徽宗《聽琴圖》和馬麟梅花軸等。還有從溥儀天津故居保險櫃中取出的馬和之、趙孟頫、宋克的幾件高僅尺許的宋元小卷。此外還有宋元官窯精品等。以下麵積全部被明清文物占據，多不勝舉。最後兩件經我放入展櫃的是故宮鎮庫之寶雍正琺琅彩雉雞牡丹紋碗，和購自郭觶齋的乾隆仿古銅釉犧耳尊。因為它們最珍貴又最嬌嫩，等大體擺好，場地較為平靜時再出囊入櫃較為安全。
即便如此，王世襄在捧著這兩件國寶放入展櫃時，依然是“腿發軟，心發慌，手發抖，生怕萬一閃失”，那他“將百死莫贖”了。
其實，如果單是工作遭受百般阻撓或者多有勉為其難的臨時性任務交給王世襄的話，他還是能夠逐漸實現其強館之夢的，可事實上他身為故宮博物院人員卻有太多的時間沒能在院中工作。比如，1950年王世襄作為從舊政府過來者，被送到位於北京西苑的華北革命大學改造一年；此後，王世襄又作為廣西南寧土改工作隊一員，在隊長田漢的帶領下前往該地進行土改工作。而到了1952年，在廣西南寧參加土改工作已經兩個月的王世襄等人被緊急電召回京，火車一到站他們便被早已等候的卡車拉進了故宮博物院，並按要求所有人員暫住院中不得回家。麵對如此緊急的緊張氣氛，長途跋涉的王世襄等人暫住院中的那一夜是否還能安睡就不得而知了，反正第二天淩晨全院人員被分作兩組送往東嶽廟和白雲觀兩處，開始了一場以反貪汙、反盜竊和反浪費為主題的聲勢浩大的“三反”運動學習。名為學習，實際上就是要求從舊政府過來的他們向“打虎英雄”徹底交代自己的曆史問題，而在“交代”前麵還應該加上“勒令”這一前綴詞，因為“打虎英雄”對待他們所采取的審查方式，是一種帶有戰術色彩的“疲勞轟炸”，也就是不許解釋不準分辯夜以繼日地突擊審查。
關於王世襄這位“家庭出身不好，曾在洋學校讀書、在國民黨教育部清損會工作、收回大量被敵偽劫奪文物，並接受美國財團獎學金出國考察一年”等帶有諸多問題的“大老虎”，遂成為“打虎英雄”突擊審查的重中之重，並被單獨監禁一室接受十多名“打虎英雄”的輪番“轟炸”。“打虎英雄”們審查王世襄的理由很簡單，那就是“你是坐飛機來的接收大員，專職就是‘接收’文物，連副代表都沒有來。有這樣的好機會，哪能不伸手撈一把？所以我敢百分之百地斷定你有盜寶行為”！另有一位“打虎英雄”則說：“你在短短兩年內收回七批文物，還從東京運回善本書。如果你沒有好處，豈肯如此日夜操勞，盡心盡力？！”麵對“打虎英雄”們這一極為荒唐的審查邏輯，王世襄本想從自己出身幾代清廉官宦之家，對文物和藝術無比熱愛的心理出發，將自己身許故宮博物院並立誌要將其建設成為世界一流博物館的理想，以及在朱桂老的指導和策劃下如何追回國寶等經曆，一一詳細如實地向“打虎英雄”們進行交代。沒想到他剛解釋了幾句，便被一位“打虎英雄”喝令停止，並聲色俱厲地大聲訓斥道：“你的花言巧語騙不了我們，隻能增加你的罪行！”另一位“打虎英雄”則說：“朱桂老是什麽人？你老提他，把他的名字寫給我看看。”而當王世襄工整地寫下“朱桂辛，名啟鈐”幾個字時，那位“打虎英雄”竟然說：“什麽‘桂’呀，‘鈴’呀（把‘鈐’讀成‘鈴’），是個旦角演員吧？”對於“打虎英雄”們如此粗俗無知，王世襄明白他的任何解釋都毫無用處，於是幹脆一言不發了。既然王世襄如此“頑固不化”，“打虎英雄”們更是認定他犯有極為嚴重的盜寶罪，用力拍打桌子等威脅恐嚇手段都一一使用上了，可王世襄卻交代不出一件讓他們感到興奮的事。
王世襄本人交代不出問題，本來就讓“打虎英雄”們惱火，可他還“阻撓”別人“交代”問題，這讓“打虎英雄”們更加大動肝火，決定“判處”王世襄死刑並宣布立即執行槍決。對此，王世襄後來曾這樣回憶說：
故宮同事李連鏜，工資有限，但喜歡收集絲織刺繡小品，如荷包、煙囊、扇套、經板等。此類之物並不值錢，古玩店不收，隻有掛貨鋪、曉市和街頭地攤才有。我有時遇見他買這些物品。運動中他被逼得無奈，隻好把買的東西送呈隊部，聲稱都是偷故宮的，立即受到表揚。我因受毛主席的教導，堅信事事必須“實事求是”，既然確知那些小件都是李連鏜花錢買的，不是偷故宮的，就認為該實話實說，不能弄虛作假。何況“三反”是嚴肅的政治鬥爭，如人人以假亂真，真盜寶犯豈不反能蒙混過關。我認為說明真相實有必要，因此到隊部說明此事。不料第二天停止一切活動，特別為我召開一個全體大會，大殿前神道正中擺一張桌子，設宣判者席，命我跪在神道正中方磚地上，兩旁士兵持槍排列。宣布王世襄罪大惡極，不僅自己拒不交代，還破壞他人交代，罪不容誅。批鬥時千人高喊口號，聲震殿瓦。對這從未見過的陣勢，未免有些恐慌。隨即宣布已呈報上級，批示後，立即槍決。我不了解國家刑法，真以為末日已至。此時曾一度萌生自殺之念，覺得被人槍斃還不如自己上吊。
經過一夜輾轉反側激烈的思想鬥爭之後，王世襄覺得“倘為了如實匯報而被處死，官方必將承擔誤判之罪，被批鬥者自殺，不僅白死，還犯了‘自絕於人民’之罪，故萬萬不可”！當然，“打虎英雄”們所采取的這一招，並非真的要將王世襄槍斃了事，而是希望通過這聲勢巨大的威脅恐嚇讓他徹底交代自己所犯“罪行”。不料，王世襄既然已經抱定了絕對不能自殺之念，反而變得更加堅強，以致後來即便是無中生有更嚴重的汙蔑，他也表示“隻要活得長，一定能笑到最後”。
不過，“打虎英雄”們認為既然你王世襄如此“頑固不化”，便轉而采取了一種迂回策略，那就是想從通過尋找院長馬衡的盜寶證據來打開王世襄這塊堅固堡壘的缺口，但是他們選擇的突破口又失算了，那就是他們認為王世襄經過這次“審判”應該變得聰明些，會作為院長親信揭發馬衡盜寶行為而減輕自己的“罪行”，而由此“打虎英雄”們相信這也必將最終牽連出王世襄自身的盜寶行為。然而，“打虎英雄”們這一自以為高妙之計，卻被王世襄的“揭發”愚弄了。對此，王世襄在回憶文章中這樣記述道：
他們先逼問馬院長如何指使我為他盜寶並設法潛移院外。我說：“絕對沒有。”又追問馬院長可曾指使我拿文物給他。我說這倒有過。他們一時興奮起來，問：“你給他拿的是什麽文物？”我說：“宋代名畫。”他們更興奮了，又問：“隨後又怎樣？”我說：“院長命我送往陳列室展出。”
可以想見，王世襄這一“開玩笑”式的“供述”，實在讓這些“打虎英雄”們氣急敗壞，而王世襄卻坦然回應說：“不是開玩笑，是事實，而且是你們要我講的。”
荒唐時代自然容易產生荒唐事情，而且層出不窮的荒唐事情實在是引人發笑也讓人深思。對此，王世襄就曾回憶了這樣一件可笑之事：
當時和我同關在東嶽廟的有金毓鋆先生，滿清宗室，北洋政府時期曾在駐挪威使館任職，年逾六旬，是一位膽小怕事的好好先生，因對古玉有研究，受聘故宮而卷入運動。他受不了無休止的逼迫，隻好胡編亂造，說偷了若幹件玉器。經查明故宮沒有此物，“打虎英雄”們認為他用假交代來掩蓋真盜竊，鬥得更狠。和金老關在一室的有科員張宗良，是個真盜竊犯。因交代材料都核對屬實，並從家中起出贓物，所以受到表揚，命他仔細回憶，繼續交代。金老看在眼裏，十分氣憤，認為太不公平：小張真偷了，反倒有靜坐思考、喝茶抽煙的時候；我清清白白，竟整天挨鬥，真是豈有此理！受審者每次去廁所都有人跟隨，以防串供。一天張宗良在前，金老在後。事有湊巧，尾隨者失職，沒有跟上。金老加緊幾步，小聲地對張說：“二哥（實際上金老比張大二十多歲）！二哥！救救我吧，把您經手（此二字妙）的勻我兩件好交代，要不實在活不了了！今後如能活著出去一定好好請請您！”
可以想見，金老殷切誠懇所求勻者並非什麽珍貴之物而是賊贓，這種荒唐之極的事情非在那個荒唐時代豈能產生？舉此一例別無他意，隻想說明王世襄在那種非常時候竟然敢對“打虎英雄”們開以上之玩笑，豈不是自討苦吃嗎？果然，東嶽廟四個月“學習”結束後，大多數人員都回到了故宮博物院，即便是真有盜寶行為但交代徹底坦白者也依然留用，而“拒不交代”的王世襄在回到家中僅僅兩天之後，便接到派出所要求他前往問話的通知。當他心懷忐忑地一邁進派出所大門，便被銬上手銬，隨後被派出所雇的三輛三輪車直接押送到了前門內路東那朱紅大門的公安局裏，從此開始了他長達十個月的鐵窗生涯。
初進監獄，王世襄便不叫作王世襄，而叫三十八號，每當聽到這一吆喝，他都必須高聲答“有”，否則遭到嗬斥可能算是客氣的了。在看守所的十個月裏，王世襄“享受”了犯人應有的一切“待遇”，比如手銬腳鐐等。至於沿襲千年在牢房盡端放置尿桶的舊製，王世襄初入牢房也必須按規定將鋪蓋放在靠近尿桶處，隻有等到進入新一號犯人時才能挪移一個鋪位，一個多月後他漸漸離開了那散發著刺鼻腥臊味的尿桶，但是同處一室那氣味又能好到哪裏去呢？
當然，監獄生活免不了要接受一次次的審訊，負責審訊王世襄的是一位年過半輩的“老班長”，審訊態度不似“打虎英雄”那樣粗暴，每次都隻是問一些問題，並讓將沉重的手銬腳鐐去掉。除了接受審訊之外，王世襄和所有犯人一樣還要參加一些必要的改造性勞動，比如糊火柴盒等。這樣的勞動雖然並不勞累，但是早晚兩餐窩頭鹹菜的生活，依然使身強力壯的王世襄逐漸感到乏力。
十個月後，當王世襄出獄時竟然步履踉蹌，還未走出監獄大門就已氣喘籲籲了。數日後王世襄到醫院一檢查身體才明白，原來在監獄裏由於是眾多犯人同吃一盆飯菜，使他傳染上了嚴重的結核性肋膜炎。伴隨結核病而來的，當然還有公安局發給王世襄“取保釋放”的通知，以及隨後國家文物局發給他上麵寫有“已開除故宮公職，可去勞動局登記，自謀出路”內容的一紙冷冰冰的公文。那麽，拖著嚴重結核性肋膜炎病軀的王世襄將何去何從，他奉獻故宮博物院並立誌強館的夢想還能夠實現嗎？
其實，“三反”運動過後王世襄還是有機會重返故宮博物院的。彼時，那位飛揚跋扈的黨代表已被調離，器重他的院長馬衡雖因肺癌而抑鬱逝去，但是接替院長之職的是吳仲超先生。這位極為愛惜人才的院長吳仲超，上任不久便通過文化部領導與中央音樂學院民族音樂研究所協商，想將已經就任該所副研究員的王世襄重新調回故宮博物院，但是時任該所所長楊蔭瀏和副所長李元慶兩人都沒有同意，而當征求王世襄本人意見時，對故宮博物院仍然心有餘悸的他也沒有明確表達自己的態度，此事就此擱淺。
既然不能將王世襄調回故宮博物院工作，院長吳仲超便想出了一個折中的方法，那就是於1957年先後聘請王世襄為故宮博物院“曆代藝術專門委員會委員”和“文物修複委員會委員會委員”，希望他每周能到故宮博物院協助工作一兩次，為此還專門在禦花園西南角為王世襄設置辦公室及午休床榻。此後半年間，王世襄曾前往故宮博物院參加過幾次會議和文物鑒定工作，但是不久又因被中央音樂學院民族音樂研究所劃為“右派”，便再也不宜到故宮博物院參加這類工作了。
時間到了1966年，已經摘去“右派”帽子的王世襄雖然“歸隊”來到文物博物館研究所工作，並再次被故宮博物院聘任為“非文物審查委員會委員”，但是史無前例的“文化大革命”已經開始，就此王世襄徹底脫離了他魂牽夢縈的故宮博物院，他的強館之夢也終究成為一夢而已。
如此，下麵不得不進入王世襄的人生晦暗時期，而同時，這也是他成就輝煌事業極為重要的積累醞釀時期。