“毗陵”，《汉书·地理志》会稽郡县毗陵。注：季扎所居延陵，汉改之。《宋史·地理志》两浙常州毗陵郡。宋置常州毗陵郡，属江苏。
“竹深”两句，应题。即席绘出丁园中的主要景色：竹林。此言园中一大片幽深茂密的竹林拦住了夕阳光，似乎想把夕照美景留住，不肯放它轻易过去。横放斜插的竹枝、竹叶，形成了庞大的阴影，笼罩了林旁的小池塘。“断莽”三句，叙园外之景。此言丁园四周空旷平坦，远处一缕孤烟在地平线上袅袅飘升；浅浅的河水上浮动着败草残叶，这种景色只有深秋季节才能般配啊。“断莽平烟”句，有王维“大漠孤烟直”的意境。“荒亭”三句，复述园景。言园子里那个荒凉的亭子由于要在那里设宴，所以刚刚才打扫好。秋深风紧，我们正好借酒暖身。但是眼前已不再是早春时来过的景色了，所以没有了“满园春色关不住”的感觉。从此处可知“丁园”是词人常游之地。“障锦”两句，写挡风的围屏。主人用织锦屏风围着“荒亭”，就阻住了西风的肆虐，见那屏风上面一半绘着美人歌舞图，一半书写有龙飞凤舞般的题辞。从词人对屏风中景致的描述来看，可知“丁园”的主人也是个风雅中人。上片描述“丁园”的内外景色。
“独游”三句，从眼前的聚宴联想开去。此言如果是孤零零的一个人来此的话，那游乐的兴趣就会很快消失；又如果园中的景点太多，也会使人感到眼花缭乱而无所适从；并且走马观花般的匆匆游览，又会使人觉得乐趣似乎太短促些了。三句既照应词题“两别驾招饮”，解决了词人的孤独感和时间上的短促感；又赞美了丁园的景点设置恰到好处。“柳下”三句，述宴中情景。“交车”（或“停车”），似为下象棋，南宋时象棋已风行。“云根”，为园中一假山也。此言在宴饮时，既可以闲适地坐在柳树下，车将、炮跳地下象棋；又能不时回来亭上帽饰交擦互相敬酒；还能够与友人一起出没在假山中间，一笑解千愁。“秋香”三句，由园景生发，宕开一笔，插叙时令。此言秋天的菊花还未凋残，而秋风秋雨已经静悄悄地光临西城。在亭中饮酒的客人（即词人）也被西风不知不觉地吹歪了帽子。“背月”两句，宴散乘舟回家也。因丁园地处城西（从“风雨西城”可知），所以词人在一夜欢宴后，背向着西坠的月亮乘舟而归，只听见群鸦已在两岸的树上迎着朝霞聒噪了。结句呼应词题中“招饮”，词人尽兴而归矣。且“溪树晓”又与首句“斜阳度”遥接，点明这是作通宵之宴也。
诗中露面的人物，仅有诗人一人，他正从一家花园的高墙下经过，尽管墙头的花朵半隐半现，却依然望见了因枝条受到牵动而引起的悠悠的晃动。诗人由此驰骋想象，他推测在墙的那一边，正有一位美人在摘花，而不只是由风吹的缘故。
此诗从第一句到第二句，一进一退。第一句是一个省去“尽管”或“突然”的让步副句，在文势上作一顿挫；第二句是一个省去“尽管”或“虽然”的让步副句，在文势上作一顿挫；第二句以副词“犹”字反接进行强调，文势振起。诗歌形象由“花半隐”的静态描绘随即转换成“动花枝”的动态描写。视觉形象上的这一跌宕变化，引起诗人心中的疑虑与猜想。故后两句由料想之词“当”字引出。诗人判断止于疑是之间，“当由”与“讵止”（岂只之意）一呼一应，情韵回萦，意味绵长。事实上，是否真的有美人在摘花呢？倒也未必。然而诗人想象如此，希望如此，即使读者也无不但愿生活中有过这样一个小小的插曲，在大墙内外曾经发生过如此戏剧性的一幕。
此诗不仅自身值得玩味，且对后世亦有所影响。《西厢记》写莺莺为约会张生，写了一首很有名的《明月三五诗》：“待月西厢下，迎风户半开；拂墙花影动，疑是玉人来。”后两句就可能受到刘孝威的这首《望隔墙花》的启发。苏轼的《蝶恋花·花褪残红青杏小》中写“墙里秋千墙外道。墙外行人,墙里佳人笑。笑渐不闻声渐悄，多情却被无情恼”，从墙里与墙外进行构想，或许也曾借鉴过此诗的思路。