黃賓虹一輩子未置過房產，都住著租來的房子。據(jù)陸公望《先父陸抑非與黃賓虹的一段逸聞》記：“時值1933年末，母親懷孕我的那年，黃賓虹先生偕夫人寄居我父親居住的上海薩坡賽路207號(今淡水路219號二樓廂房內。我父母住在樓下。在此前，賓虹老人曾住隔壁的西成里，因為與朋友交往不便，故搬到我父母所居的沿街房屋內住。有一件往事極為有趣，現(xiàn)記述于后。當時我父親僅26歲，除了繪畫外，已在上海美專、新華藝專等美術學校教課了。由于父親年輕時以畫工筆畫為主，所用毛筆須筆峰較細，因此，不少用久之禿筆就束之高閣，放在大筆筒內了。而黃賓虹先生卻正需要這樣禿筆來繪山水畫很得心應手。為此，他老人家通過其夫人向我母親索些我父親用過的禿筆給他畫山水，我父親欣然答應，即刻給了他一大把禿筆。黃先生高興之余，便告我母親，請父親上樓觀看他所畫的山水畫稿，他老人家說：你看看我畫的這些山水冊頁及墻上掛的山水條幅，你如喜歡，盡管取走好了。父親當時年齡與賓虹先生相差四十三歲，他很敬重黃先生，以長者稱謂之。父親很不好意思，僅取走了兩張小冊頁 (其中一幅目前留在我處，上面還配了馬一浮先生詩章。事后，黃賓虹先生講小陸先生年輕，不懂我的畫，他如果拿去兩部冊頁我才高興哩?！?br>　　此前，黃賓虹有數(shù)年時間居住在上海張善孖、張大千兄弟寓所樓上，有段時期居住在上海汾陽坊 418號神州國光社樓上。據(jù)女弟子顧飛回憶：汾陽坊弄口有一高檔服裝店，那時黃賓虹閑暇時自制一種印有“中國藝觀學會仿宋紙”字樣的宣紙出售。這是一種用九分水一分生豆?jié){兌配液刷在紙上做成的半生半熟的宣紙，宣紙打濕后，放在床的棕棚上晾干，黃賓虹和宋若嬰都親自做過這類雜事。
　　在北平期間，黃賓虹租住城西南石附馬后宅7號。其學生石谷風和瞿兌之對老師居所回憶：“賓老房則一間斗室，雖然小到不足回旋，而所讀的書從地上一直堆到頂篷。頂篷已經塌了下來，書沾了雨，他也不介意。他的書并不講究版本，但有很多專門而罕見的，他尤其喜歡搜羅鄉(xiāng)邦文獻，考證表彰不遺余力。案上堆滿了古印古玉之屬。雖然自己不再刻印章，對于金石文字仍常常有新的見解。喜歡用籀文寫聯(lián)語，隨手送人，毫不吝惜。求畫的雖然很多，每天早起，還要用粗紙臨古人的畫，完全為的是自娛，不雜絲毫名利之心。他的物質生活簡單之至，然遇琉璃廠人送字畫來，只要真是上乘，就不惜重價收購，比人家出價買他的畫高多了。出其余技，從事園藝，在塵封蠹蝕的書架上，可以發(fā)現(xiàn)他手種的菖蒲，在北方干冷的氣候中，這是很不容易種好的，尤其矮矮的一扇板門旁邊，恐怕只三尺地，手種了一從瘦竹，其令人消盡塵俗之氣?！薄?黃賓虹今年已臻八十，而精神面目正如五六十之人……。終日埋首于案間，不問外事，惟遇有與談藝術者，輒津津不能自休。先生所居在內城之西南隅，破屋兩三間，承塵已傾且漏。所聚書上充棟而下疊席，案上凝塵不拭，禿筆、破硯，零箋、殘墨，以至手鐫之印章，散亂無紀，不識者固不料其為煙云供養(yǎng)中人……?！本褪沁@樣的陋室，房東于1946年夏提出要加房租，且漲資甚高，無奈，又將居所由石附馬后宅7號搬至35號。
　　在北平時，還發(fā)生了一件趣事，家鄉(xiāng)傳言黃賓虹在北平賣畫發(fā)了財，便有鄰村鄉(xiāng)人鄭景賢之子與孫兩人到北平，求黃賓虹處謀事。黃賓虹請他們作抄寫，每日只能抄二、三千字，而兩人的胃口特大，每餐一人可吃七八碗飯，還得增添菜食，使黃賓虹日常的清苦生活開支倍增，搞得他有點哭笑不得，后不得不婉語勸辭。
　　在南歸杭州后，一家六口住在棲霞嶺中央美院華東分院分給他的二間平房內，其擁擠可想而知，且生活仍不寬裕。有位領導到黃賓虹家探望，見他穿著的是一件幾乎掉完了毛的皮袍子，心想這怎能御寒？回去即向上級領導反映，后有關部門決定要送一件好點的皮袍子給黃賓虹。可當時杭州市內沒有這樣的貨賣，消息給住在不遠處金沙港的蓋叫天知道了，他慷慨地拿出一件皮袍子送給黃賓虹。當相關領導將這件皮袍子送到黃賓虹家時，黃師母宋若嬰卻講了句實在話：“我們家，最缺的倒不是皮袍子，而是日常的柴米油鹽?！币晃灰严碜u海內的大畫家，難道就沒有致富的路可走？答案肯定是有的，起碼有兩條：一是拿出他豐富的歷代名畫、璽印、古玩，即使賣出一小部分，也是可觀的收入；二是專畫時人所好的畫作，走以市場為導向的作畫路徑，也必致富。然而，這兩條，黃賓虹都堅拒之。他晚年曾說自己三十年來未曾更換過被褥，卻常舍得為金石、書畫一擲千金或出資來游覽風景名勝，甚至在市場上看到他早年失竊的畫作或贗品，他都一一購回。可見，他并不是沒有錢，而是將錢幾乎都用到為之奮斗的繪畫事業(yè)上去了。他尋尋覓覓、慘慘淡淡、孜孜矻矻積累起來的藏品，以他自己的話說是他不能離開的“朋友”，是賴以學習、研究、著述、供展和利于后人和國家的資源和基礎，怎可能將它們售之于市而換得生活的改善呢？
　　黃賓虹曾給族人黃樹滋的信中說：“張大千來此 (北平售畫，每張定價法幣二十萬元；齊白石每尺方四萬元，皆甚忙碌。鄙人只擇人而與，非經知交介紹不動一筆，各紙鋪包括榮寶齋來索者皆謝絕之，意留傳精作，不與人爭名利耳?！彼€曾說：“畫者未得名與不獲利，非畫之咎；而急于求名于利，實畫之害?！薄皶嬁少F，非決定于得名與獲利之有無，而在于書畫作者本身功力之強弱高下。所以得名與獲利，非書畫之目的，而急于求名與利，實為書畫之害?！闭缢诮o香港弟子黃居素的信中所說；“潤格(畫的每方尺價格雖在前十余年友人訂有價值，然鄙人素不愿鬻畫為生……。近今來泛應人，寧節(jié)儉自寧，求樂志耳。尊處友好中嗜畫者可勿吝，惟不可勉強?！薄肮胖?，當時不急求知于人，而惟就有真鑒賞與好事收藏者給之，不遇其人，寧自貧困，不妄于人?！薄笆篱g名與利皆足以害人，樂天知命能不槁餓即足矣?！?br>　　可見，大畫家黃賓虹節(jié)儉清貧的一輩子，既是他道德情操的體現(xiàn)，也是對他意志毅力的磨練，更是他攀登繪畫高峰披荊斬棘的必然路徑。