抗日戰(zhàn)爭時期，南京中央圖書館曾將一批善本書運到香港，在那里編目造冊，加蓋館章，然后送去美國，寄存在國會圖書館。1941 年底，日寇侵占香港，將這批善本書全部劫往日本。日寇投降后，無法抵賴劫奪這批書的罪責，經中國駐日代表團清點接收，原箱封好，10 箱存在代表團的庫房外，其余107 箱則暫存在東京上野公園內。

肩負著重要的使命，王世襄只身飛往羽田機場，開始了在日本的文物清理工作。到東京不久，有兩架中央航空公司專機送代表團的人員及家屬到東京來，回程無可裝載。王世襄心中惦記著來時杭立武囑咐的兩件事情，靈機一動，提議代表團將存在代表團的10 箱善本書順利運回上海。緊接著王世襄又根據之前國內整理出來的文物材料向日本政府提出要求，交涉償還余下的古籍。這是一項繁雜而瑣碎的工作，由于涉及的文物多為抗日戰(zhàn)爭期間流失海外，使得損失文物的材料搜集工作非常困難，而想要通過政治渠道尋求回收文物，則必須按照聯(lián)合國的要求賠償文物條款規(guī)定來準備材料。這就需要列舉損失文物的名稱、年代、形狀、尺寸、重量等，最好附有照片；而對于劫奪的情況，則也要求詳細列出原有人、原在何處、何時被劫奪等。更為苛刻的是，如果中國方面認為是被日本所劫奪，更需要提供劫奪部隊的番號。

這簡直是一個不可能完成的任務。在那個戰(zhàn)火紛飛的年代，國破家亡之際，又有誰能留下完整的文物損失記載材料呢？或者說又有誰關心那些千百年前的物件到底流失何處呢？而要求寫明部隊番號，這更是不可能的事，因為番號向來都是保密的。年輕氣盛的王世襄怒不可遏，這簡直是霸王條款。“它只對日本有利，對中國不利，而且已經到了偏袒庇護的程度。”

王世襄不明白政府當初為什么會答應如此苛刻的條款。但在當時的大背景下，中國雖然取得了抗日戰(zhàn)爭的勝利，但在美帝國主義強權的主導下，并沒有能夠享受到勝利的果實。當政府在忙于博弈政治資本時，又有誰會把文物追討放在心上呢？

沒有話語權，王世襄只能一方面通知國內，寄來更加詳細的材料，另一方面則硬著頭皮拿手頭所有的材料去向日本政府提請清收。而這樣的要求則在日本政府以資料不全為由之下，顯得那樣蒼白無力。

幾次三番的碰壁，讓王世襄心灰意冷，他不由地想起自己在故宮的工作和臨行前與馬衡的對話來。出國前，故宮博物院的基礎整理工作才剛剛開始，他本以為來到日本，能夠做一些更加有實效性的事情，但從事情的進展來看，他發(fā)現(xiàn)自己在這里，只不過是一個點綴。并沒有人真正關心流失的文物，而在可預見的未來，也不可能出現(xiàn)什么轉機。