乾隆46年(1781)初冬，黄仲则在西安访陕西巡抚毕沅后回到京都，与好友余少云，同寓法源寺。他和余少云诗云:“同是江南客，天涯结比邻。”(《六叠韵和余少云作》)他的另一好友杨蓉裳，也在京都。三人经常同游共止，写诗填词。杨蓉裳赴甘肃任职时，黄仲则作《金缕曲》送别:“羡尔抽鞭早。”到乾隆48年(1783)春天，黄仲则再赴西安，与余少云也分手了。这首词是三人同在京师时作。
上片写黄昏时分归鸦情状。薄暮，乌鸦纷纷归巢，“归影如织”，极言其多。犹如一幅古木归鸦图，“分明小幅倪迂画，点上米家颠墨”。元代著名画家倪瓒，字元镇，号云林，好洁成癖，我行我素，人称倪迂。他长于山水景物。米颠，指宋代著名画家米芾，字元章，号鹿门隐士，行为违世异俗，人称米颠。他的山水画别出新意，自成一家。这两句实为“景色如画”四字，但又不落俗套地称为倪云林和米元章两人合作的画，真是看似平常却奇倔。“看不得，带一片斜阳，万古伤心色。”夕阳西下，万古伤心，大概有两种不同的意思。宋玉《九辩》云:“岁忽忽而遒尽兮，老冉冉而愈施。”这是夕阳西下，时光流失，年岁徒增而功业无成的悲叹。李商隐的名句:“夕阳无限好，只是近黄皆。”则重在表示美好事物即将消逝而倍增感伤。“万古伤心色”，蕴含多方面意义，耐人寻味。“暮寒萧淅”，实写秋末初冬的萧瑟景象。“似卷得风来，还兼雨过，催送小楼黑。”巧妙地刻划了飞来的阵阵昏鸦。飒飒飞来的归鸦卷起的风，如点点雨滴落在树梢。乌鸦的黑色更增添了浓重的暮色，天色愈来愈黑了。诗人把鸦群的描摹与时光的推移结合起来，极富想象力。上片开端四句，纯是写景，自“看不得”到结末，在景色描绘中表达了凄凉寂寞的感情色彩。
下片重在抒情。“曾相识，谁傍米门贵宅？上林谁更栖息？”似曾相识的归鸦，有哪些曾经栖息于豪门贵族之家？甚至是在帝王的上林苑中？上林苑是汉代著名的皇家苑囿，奇花异草，飞禽走兽，应有尽有。这里用来泛指君王苑囿。用这样的对比描述，显示得意者与失意者天差地别，不可同日而语。这是对人世间不平的愤懑。“郎君柘弹休抛洒，我是归飞倦翮。”这是诗人自喻。倦飞归来的归鸦，再也经不起柘弹的袭击了;历经坎坷的人，怎能再受打击和挫折？黄仲则江宁乡试屡次落第，曾奔走四方。到了京城，任卑微的武英殿书签官，郁郁不得志。这时，正等待按照惯例由书签官转为主簿或县丞的机遇。“郎君柘弹休抛洒”，表达了他此时惴惴不安的心情。“飞暂歇，却好趁江船，小坐秋帆侧。”黄仲则在京师贫病交迫，无法养活一家八口。乾隆45年(1780)，他出于无奈，托好友洪亮吉筹措盘缠，把老母和妻儿送回常州老家。此时，他多么希望趁江船，就此归去。“啼还哑哑，笑画角声中，暝烟堆里，多少未归客。”归来的乌鸦，庆幸有枝可依，可以“笑”哪些漂泊在外的游子。而诗人自己借此表示深切同情那些听着声声号角戍守边境的战士和在沉沉暮色中匆匆赶路的游子。由自己的归思之情升华为对普天下的未归客的同情，既表现出诗人宽广的胸怀，也深化了词的内在含蕴。
写这首词之前九年，黄仲则在安徽颍州，写了同样题材的《寒鸦》诗。诗与词在摹写刻划方面异曲同工，但在思想感情方面，词胜于诗。诗限于个人无衣无褐、飘泊流离的悲叹，词则由一己的得失而想到天涯海角的游子。这种不同是与诗人阅历的增长，对现实社会感知的深度密切相关的。
此此记词人送客遇妓醉饮的一段情事。按时间顺序先写郊原送客，次写归途遇妓欢饮，后写醉归惜花抒感。这段看似是写送客情事，实则是写词人政治失意的郁闷。
上片前三句写郊外的原野，长长的道路伸向远方。行人离去后，词人感到怅然若失，心里空落落的。后两句写孤城和残阳斜照，表达离愁别绪。词人把斜阳比喻成“余红”，相当新颖，并把感情寄托在余红上，说斜阳由于不舍城楼上的一处栏杆，迟迟不肯收敛起最后的一抹余晖。用斜阳对栏杆的不舍，来映衬词人对离去之人的不舍。这样，人与景融为一体，都被浓浓的离愁别绪笼罩着。接着，词人笔锋一转，描写陪同送行的歌妓。歌妓极力劝酒，词人大醉。
下片写次日酒醒后的情况。首三句将词人初醒时的睡眼惺忪刻画得入木三分。他已经不太记得昨天的事了，甚至都不知道自己是怎么上的马，头脑里一片恍惚。幸好“惊飙动幕”，一阵狂风吹动来，掀起了窗帏，他的醉意立马被吹散了几分，一下子清醒多了，但并未完全清醒。“扶残醉，绕红药”表达了对春光的深爱之情。只有情深，方才能有下面的“叹”。“东风何事又恶”和上文的“惊飙”二字遥相呼应，结构严谨有序。结句词人暂时抛却烦恼，在无可奈何的情况下只好聊以自慰。
全词布局巧妙，章法一曲三折，直叙中有波澜起伏，顺叙中有插叙，令人回味。词作用比兴的手法，寓情于景，情景交融，委婉动人。
诗中露面的人物，仅有诗人一人，他正从一家花园的高墙下经过，尽管墙头的花朵半隐半现，却依然望见了因枝条受到牵动而引起的悠悠的晃动。诗人由此驰骋想象，他推测在墙的那一边，正有一位美人在摘花，而不只是由风吹的缘故。
此诗从第一句到第二句，一进一退。第一句是一个省去“尽管”或“突然”的让步副句，在文势上作一顿挫；第二句是一个省去“尽管”或“虽然”的让步副句，在文势上作一顿挫；第二句以副词“犹”字反接进行强调，文势振起。诗歌形象由“花半隐”的静态描绘随即转换成“动花枝”的动态描写。视觉形象上的这一跌宕变化，引起诗人心中的疑虑与猜想。故后两句由料想之词“当”字引出。诗人判断止于疑是之间，“当由”与“讵止”（岂只之意）一呼一应，情韵回萦，意味绵长。事实上，是否真的有美人在摘花呢？倒也未必。然而诗人想象如此，希望如此，即使读者也无不但愿生活中有过这样一个小小的插曲，在大墙内外曾经发生过如此戏剧性的一幕。
此诗不仅自身值得玩味，且对后世亦有所影响。《西厢记》写莺莺为约会张生，写了一首很有名的《明月三五诗》：“待月西厢下，迎风户半开；拂墙花影动，疑是玉人来。”后两句就可能受到刘孝威的这首《望隔墙花》的启发。苏轼的《蝶恋花·花褪残红青杏小》中写“墙里秋千墙外道。墙外行人,墙里佳人笑。笑渐不闻声渐悄，多情却被无情恼”，从墙里与墙外进行构想，或许也曾借鉴过此诗的思路。