此画的第一位收藏者是黄公望的道友无用禅师。无用考虑到此卷可能被人“巧取豪夺”，因而在画完成之前就请作者“先书无用本号”，明确归属。至明代画家沈周(成化年间)收藏前的一百多年中，收藏情况不明。沈周收藏的时间很短，即被人借去，而后，沈周家贫难以赎回，甚感惆怅，凭记忆背临以慰怀。明弘治元年(1488年)苏州节推樊舜举以重金购得后，沈周为之题记，补叙自己收藏时已经是“一时名辈题跋，岁久脱去”的破旧情况，又从画家角度称赞其“墨法、笔法深得董、巨之妙，此卷全在巨然风韵中来”。到了隆庆四年(1570年)，此卷又转入画家、鉴赏家无锡谈志伊(字思重)手中，太原王登和画家周天球都在次年得观并写观后记。明代后期著名书画家、鉴赏家董其昌，于明万历二十四年(1596年)购得此卷，但不久就转入宜兴收藏家吴之矩(名正至)手中。吴之矩传给儿子问卿，吴问卿酷爱无比，谨守家传，特建富春轩以藏之。卷上有吴之矩印鉴。画家邹之麟与问卿友善，为富春轩题写匾额，得以再三批阅此图，因而作长句题识，说藏主“与之周旋数十载，置之枕籍，以卧以起。陈之座右，以食以饮”。喜爱之情到了朝夕不离的地步。在明、清易代的动荡岁月中，问卿在逃避战乱时，惟独携带此卷，进而叹曰：“直性命殉之矣。”但问卿并未因此而丧命，倒是在他生命垂危之际，竟然火焚此画为自己殉葬。万幸的是他的侄儿子文，迅速地从火中抢出已着火的〈富春山居图〉。可惜前段已经过火，部分焚毁。以后三百多年中两段画卷乃分别流传。
〈剩山图〉(浙江藏)

前段过火部分，从吴之矩骑缝印处揭下一纸，吴其贞在〈书画记〉中记其长四尺余，去掉完全烧焦的残片，图形无重大影响的尚有一尺六寸。吴其贞得到以后名为〈剩山图〉，并钤有其贞印。〈剩山图〉紧接后段完好的画面，是富春江起始的丘陵山峦。清康熙八年(1669年)此图归广陵王廷宾(师臣)所有，有王的跋文题画。1938年，被购得，列入〈梅景书屋秘笈〉，并盖有多枚吴氏鉴藏印。吴氏考证为〈富春山居图〉前段真迹，重新装裱成卷，小面积残缺处有修补痕迹。1949年后被浙江省博物馆征藏。

后段连题跋长三丈余，是〈富春山居图〉的主体。此图再度在收藏家中转换。先归丹阳张范我，张氏酷爱收藏，常至“无钱则典田宅以为常”的地步，然终不能永保。后转入泰兴季寓庸(字因是)之手，钤有“扬州季因是收藏印”等印章多枚。再后则被画家兼鉴赏家高士奇(号江村)于清康熙二十九年(1690年)前后以六百金购得。后又被松江王鸿绪(字俨斋)以原价买进。高、王二氏也钤有收藏印。清雍正六年(1728年)，王俨斋病故，此卷又流落于扬州，索价高达千金。时有天津盐商安岐，收藏书画，精于鉴赏，于清雍正十三年(1735年)前后购进是卷，并钤有“安绍芳印”。至清乾隆十一年(1764年)，被嗜爱书画的清高宗弘历收进清宫内府。弘历擅书画，精赏鉴。但因他已将伪作〈子明卷〉定为真品，一时难断是非，乃将〈无用师卷〉定为赝品，划入〈石渠宝笈〉次等。直至嘉庆年间，胡敬校阅石渠旧藏，这一经元、明、清三朝诸多鉴赏家审定，流传有序的杰作，才被编入〈石渠宝笈三编〉，一直藏于清宫内府。清亡后仍藏故宫。1949年被国民党政府带去台湾，至今真伪二卷均藏于台北故宫博物院。