据《山谷诗集》注，山谷在黔州与戎州度过了六年漫长的谪居岁月。徽宗继位，朝野都希望消弥党争，徽宗也以此标榜，宣布改元“建中靖国”，因而所谓“元祐党人”遇赦。但劫后余生不能长久，蔡京为相，党祸再起。山谷好不容易在徽宗1102年（崇宁元年）被任命领太平州（今安徽当涂）事，但到官仅九日即罢。次年又被人摘录《承天院塔记》中片言只语，锻炼出“幸灾谤国”的罪名，构成冤狱，远谪瘴疠之地宜州（治所在今广西宜山），等于置之死地。《山谷诗集》中有《十二月十九日夜中发鄂渚，晓泊汉阳，亲旧携酒追送，聊为短句》诗纪其事，因此可知这首小令作于1103年（崇宁二年）岁尾，具体地点是鄂州（今湖北武汉市武昌）至汉阳途中。
上片写离别在即。“千峰百嶂宜州路”，点明山谷被贬宜州事，“路”字表明已经登程。生离死别乃既成现实，已无可挽回。“千峰百嶂”实写道路崎岖坎坷，通往宜州道路之多山。语似平易，实即沉痛。山谷贬黔州时，黄大临亲送贬所。山谷《新喻道中寄元明用觞字韵》诗云：“一百八盘携手上，至今犹梦绕羊肠。”痛苦经历唤起的回忆，不寒而栗。“天黯淡，知人去。”萧瑟凄清、使人愁绪顿生的环境，衬托了词人愁肠百结、悲愤欲绝的心情，创造了浓郁的别离气氛。“晓别吾家黄叔度”是发自心灵深处的呼喊。骨肉之情，手足之谊，屡遭挫折和磨难，亲弟弟又一次被“投荒万死”（《山谷诗集·雨中登岳阳楼望君山》语），怎能不发出揪心之疼，从“天黯淡”至“晓别”，反映词人忍受痛苦的煎熬已经彻夜不眠。纵铁石心肠，读至此不能不为之涕下。“弟兄华发”是实指，时山谷58岁，黄大临当长数岁，均已垂垂老矣。两位老人怎能承受得了如此重大的打击，“远山修水”与“千峰百嶂”相呼应，给人道路险阻、途程遥远之感。疲惫憔悴的词人，背着沉重的负担，拖着滞缓的脚步，在盘曲的荒山僻岭中艰难困苦地行走着……其凄苦情状，历历在目。“异日同归去”长歌当哭，字字血泪，兄弟之间无缘今世相会，重逢只能九泉之下，语极悲怆。山谷经过长途跋涉，到宜州后仅一年，便怀着冤愤与世长辞了。“异日同归去”竟成为兄弟间的诀别之辞。
下片写别筵及别后难挨时日。“长亭”指送别之处。“樽罍”指酒，借酒浇愁而已。其实，山谷是不饮酒的，“老夫既戒酒不饮，遇宴集，独醒其旁”（《西江月》词题序）。“散”字下得巧妙，交代了别筵难离难分的场面。通宵达旦，不云迎来晓色，而云“饮散”去“暮”色，正是景为情设，情由景生。山谷为宋诗大家，大临亦善诗词，如今却“别语缠绵不成句”，足见悲愤之极，这是无声的抗议。一贬再贬，身处荒陲，何况又是以衰老之身，备经拂逆，手足睽离，故云“已断离肠”。“能几许”是大声的呵责，是涕泪纵横的长嚎。“水村山馆，夜阑无寐，听尽空阶雨。”是想象兄弟离别后，思绪难排，只得听雨声来挨时日。暗用温庭筠《更漏子》下片“梧桐树，三更雨，不道离情正苦；一叶叶，一声声，空阶滴到明”词意，但大气包举，别无枝蔓。“尽”字语极沉痛。
这首赠别之作，不假雕饰，直抒胸臆。词中所蕴含和蓄积的感情是极其深厚、强烈的，但却出之以极其朴素、平淡的语言，从而自然地达到真切动人的艺术效果。
诗中露面的人物，仅有诗人一人，他正从一家花园的高墙下经过，尽管墙头的花朵半隐半现，却依然望见了因枝条受到牵动而引起的悠悠的晃动。诗人由此驰骋想象，他推测在墙的那一边，正有一位美人在摘花，而不只是由风吹的缘故。
此诗从第一句到第二句，一进一退。第一句是一个省去“尽管”或“突然”的让步副句，在文势上作一顿挫；第二句是一个省去“尽管”或“虽然”的让步副句，在文势上作一顿挫；第二句以副词“犹”字反接进行强调，文势振起。诗歌形象由“花半隐”的静态描绘随即转换成“动花枝”的动态描写。视觉形象上的这一跌宕变化，引起诗人心中的疑虑与猜想。故后两句由料想之词“当”字引出。诗人判断止于疑是之间，“当由”与“讵止”（岂只之意）一呼一应，情韵回萦，意味绵长。事实上，是否真的有美人在摘花呢？倒也未必。然而诗人想象如此，希望如此，即使读者也无不但愿生活中有过这样一个小小的插曲，在大墙内外曾经发生过如此戏剧性的一幕。
此诗不仅自身值得玩味，且对后世亦有所影响。《西厢记》写莺莺为约会张生，写了一首很有名的《明月三五诗》：“待月西厢下，迎风户半开；拂墙花影动，疑是玉人来。”后两句就可能受到刘孝威的这首《望隔墙花》的启发。苏轼的《蝶恋花·花褪残红青杏小》中写“墙里秋千墙外道。墙外行人,墙里佳人笑。笑渐不闻声渐悄，多情却被无情恼”，从墙里与墙外进行构想，或许也曾借鉴过此诗的思路。