这首词的主旨是写隐居之乐。上片写幽居的闲适：阶前流水、屋上青山、禽鸟依人，这样美丽的居住环境构成了一幅幽美的画境。而过片处故设一问，翻起波澜，引起下文。然后于下片巧妙作答，今日月下打鱼，雨中耕锄，花间读书的生活如此美好。只可惜不能唤起王维为之写生作画的兴致。全词笔调活泼，新奇自然，具有雅人风致。
词的上片写居室周围的环境，下片写自己的日常生活。
“闲”字是一篇之眼。景闲，心闲，人闲。阶前溪水溅玉，屋后山鸟相呼，万物无心任性，是之谓景闲。既不须奔走仕途，劳形案牍，也不须防人倾轧，终日焦虚，是之谓心闲。词人月下垂钓，雨中锄瓜，栽花读书，是之谓人闲。有此三闲，何乐不为？故词中曰“爱吾庐，惬幽居”，这里的“爱”“惬”，不仅表现了作者欢悦的情绪，而且表明了作者的志趣。然而，从“少日功名空自许，今老矣，欲何如”这几句看，其中又隐藏着辛酸味，有一种“万不得已”的心情。由于时移世变，又不甘奉事新朝，他只能闭户隐居，以”闲“自乐了。功名事自是免谈，何况”老矣“！
假如全篇只写一个“闲”字，亦未免浮浅。作者不说这是一篇“闲居赋”，却称之为“倦游图”。“倦”与“闲”相对而又相伴。“倦”是对世事而言，“闲”是指归隐之乐。词中主要笔墨是写“闲”，但上、下两片结尾透露“倦”意。“倦”是思“闲”的促进剂。有了“倦”字相映照，这个“闲”字就有了丰富深刻的思想内涵。其中包含对干戈挠攘的逃避，对功名利禄的否定，也包含着安贫乐道、淡泊自守的人格理想。这是作者对半生经验痛苦反思的结果，也和中国文化传统的积淀有关。结句谓吹起摩诘于九原，将自己的生活画作“倦游图”，当然想到过王维是个山水画大名家，但更主要的是因为王维也曾隐居于蓝田辋川，与作者为同调，句中含有“微斯人，吾谁与归”的意思。
词中所写情景，看上去非常单纯，实际处处隐含着对比。少日志在功名，今日乐在归隐；人世之纷乱，与自然之和谐，等等。不仅今与昨是对立的，眼前的和谐之中也潜伏着内心的冲突。以陶渊明之旷达，中夜不眠时尚不免作“日月掷人去，有志不获骋”的慨叹；词人在自得自赏之余，想起少年时的志向，因世变而终止，止水般的心里也不免荡起感伤的微澜。只是这个生活的大弯儿无法转回去，作者乃注目于眼下的自适，以维持内心的平衡。但是这种种对立，依然表现了作者复杂的心态，构成了作品内在的张力，比那种情感单纯的一边倒的作品，更具有思想的深度。
本篇作者段成己 初仕于金，入元后遁迹龙门山中，不事新朝，其节为士林推重。此词歌咏遗民的隐居生活，表现了词人傲世独立的精神气质。
“谁伴闲人闲处闲”，发端先设一问，三“闲”字叠用，既写出词人身闲、地闲、心闲的隐居生活，又造成悬念，引出下文，一箭双雕，起得工稳而有深意。身在江湖，故称闲人。居于荒隅，故曰闲处。守节自持，不问新朝政治，故云心闲。三“闲”字包括以上诸多内容，可见匠心。“梅花枝上月团团”，回答首句所问：是那疏影横斜的梅花以及梅花枝头团团的明月伴着词人。这月和梅是词人生活的伴侣，无论是仕于国破之前，还是隐于亡国之后，它们始终跟随着词人。当词人于晚年回首往事，感叹故都繁华消歇时，作词亦称“唯有当时好月，照人依旧梅梢”（《木兰花慢·元宵感旧》），认为只有月和梅才是自己患难与共的知音。“陶潜自爱吾庐好，李白休歌蜀道难”，奉昔代之“闲人”陶潜为楷模，引为同调。陶潜不为五斗米折腰，李白不愿摧眉折腰事权贵，这都为词人所仰慕。他要走陶潜的路，同时深情地呼唤：李白啊，不必为蜀道艰难，人世险恶而太息，归来吧，山中可以久居。自己在故国倾覆后的政治态度和生活态度，巧借两位古人，明确表现出来。
“林壑静，水云宽”，承上片歌咏“闲处”之山林。山林寂静，沟壑幽深，水淡云远，在此可以登高舒啸，临流赋诗、寄傲山水、委心白云，忘却一切政治烦恼，故继曰“十年无梦到长安”。词人别首《临江仙亦有》亦有“十载龙门山下路，梦魂不到京华”之句，意思相同。世乱国亡，报效无路，不隐何以面对故国父老？古代文人最重气节，欲不依附新朝，除去啸傲江湖，别无良方。“无梦到长安”看似超脱，骨子是城却极为沉痛。尽管词人隐居龙门已经十载，但他仍然感受到元蒙新朝政治风雨的威胁，“五更门外霜风恶”正是这种心情的曲折反映。他自勉要在这艰难时世中生活下去，“千尺青松傲岁寒”是他生活的宣言。在别首《满江红》词中，他也宣称“岁寒还与松同洁”。可见最后两句并非为写景而写景，物中有人，“青松”盖以自譬，推出的是岁寒然后知松柏后调的主题。
为了突出主题，本词在构造意境时，选取了两类意象。一类是自然意象，其中有迎风斗雪的寒梅、傲霜独立的青松、清冷幽洁的明月、宁静幽深的山林丘壑、清新淡远的流水闲云。另一类是人事意象，有吾爱吾庐的隐士陶潜，有愤世嫉俗的诗人李白。这两类意象的和谐结合，造成了本词的独特意境，即在宁静冲淡而又暗藏险恶的景象中，蕴含着词人遗世独立，挺拔傲世的精神。