林逋隐居杭州时，在西湖孤山结庐。孤山之有孤山寺，这是他常常喜欢登览的胜地。该写一个秋日的傍晚，诗人在孤山寺端上人房内饱览山上风景。诗以素淡的笔触，描绘出幽邃的景色，造成一神幽寂的意境。而这种境界，正是林逋这位幽人（隐士）所眷恋的。
首联破题领起：诗人凭栏远望的地点在孤山寺端上人房；至于房的方位，孤山塔后有一座阁，房间就在此座寺阁的西边。诗人凭阑纵目时，思绪飞得很远、很远。他并没有明说幽思因何而起，而是将笔荡开，于颔、颈二联画了四幅风景画。
画面在“望”中一幅幅依次展开。先是一幅“方外寺”：阴森森的树林里，隐隐约约地闪现出几所寺院。诗人身处佛地，所以第一眼看到的便是佛寺。暮色苍茫，远远望去，这个景色暗淡得就像一帧退了颜色的约画。寺在“画轴”之中，想象奇妙。眼中是画，诗笔下也是画。画境寂静幽深，正见方外本色。再是一幅“葑上田”。诗人转移了一下视角，但见水面上零零星星地飘荡着一块块的架田，犹如那棋盘上割下来的方格子。枰，棋盘。以棋盘方格譬架田，比喻贴切。其时夕阳西下，夜幕将临，农失们都已荷锄归家了，因此画面上空无一人，分外宁静。
接下是一幅“空中鸟”：诗人举头瞻望天宇，只见寥廓秋空之中，偶尔飞过一只伶仃的小鸟。诗人赶紧将这“独鸟”捕捉进画中，又涂上几抹秋云作为背景。
最后展开的是一幅在“墟里烟”：夕照之中，什么都没有，唯有袅袅寒烟（秋已深，炊烟在秋空之中，也带有深秋的寒色了）萦绕半空，这表明，附近村阁的人家已在点火做晚饭了。这幅诗人略略低首绘下的画，意境空寂，色彩也淡得不能再淡了。
寺、田、鸟、烟四轴风景图，展现的正是高僧端上人日日置身其间的那个幽深清寂的环境。此种环境，与这位幽人断绝尘想、潇洒物外的恬静心境、闭逸情致正相吻合。因此，他从中领略到了莫大的兴味，渺然幽思便由此而起，令他久久留连，迟迟不愿归去。
末联便直抒这种倾慕心情，诗人道：我迟迟逗留着，不舍得归去。今日之游，我愈加喜爱这块胜地了，因为，它与我的庐舍相近。近，我得以迟归，又得以常来。现在，快要掌灯吃晚饭了，我也该同去了。不过，等那雪花纷扬时，我要重来此地，观赏那银装素裹的世界。
这首七律以工于写景驰名，不仅“诗中有画”，而且手法高妙。颈联在词序的排列上作了精密的调动，画面就在宁谧中浮动着一股生动的灵气。而颔联，则因其奇妙的想象与贴切的比喻，更受后世诗人们的激赏，仿效之句也最多。如滕岑有“何人为展古画幅，尘暗缣绡浓淡间”（《游西湖》），程孟阳有“古寺工如昏壁画”（《闻等慈师在拂水有寄》），黄庭坚有“田似围棋据一枰”（《题安福李令朝华亭》）、“稻田棋局方”（《次韵知命入青原山石》），文同有“秋田沟垅如棋局”（《闲居院上方晚景》），杨万里有“天置楸枰作稻畦”（《晚望》），杨慎有“平田如棋局”（《出郊》），等等，因此王渔洋品评此联“写景最工”（《池北偶谈》），是有道理的。