此诗抒发作者对主人公被斥退罢归的惋惜不满与感慨之情。起句以浩叹发出，“征南将”点明归者以前身份，就是这位南征北战的将军，如今却被朝廷罢斥遣归，投老江头，萧条南归，恓惶而去。“流落”二字融注情感，突发领起，总冒全首，含裹通体，撞心触眼，是为一篇主意所在，一起手即与别者连缀纽结，开出下文若大天地。此句从眼前事写起，次句叙其人先前军职显要，重兵在握。“驱”意为统率，下得有力。“十万师”而能驱遣自如，表现其叱咤风云的才干，足见其人的不凡。不过这些都成为过去，一个“曾”字，深深地荡入雄壮的岁月，饱含唏嘘惋叹。首联今昔对比，叙其身世处境，感慨难以名状。
颔联写友人困顿坎坷，仍眷恋朝廷。“罢归”“老去”指出将军“流落”之因，“归无旧业”说明题目的“襄州”，仅家徒四壁而已。也暗示其人一心戎马，为国征战不解营生。在“古木苍苍离乱后，几家同住一孤城”（《新息道中作》）的时代，老去投归，景况可想。两句上二下三，前后转折，意义上中间含个“而”字在，顿挫而沉郁，有杜诗风神。所谓“明时”，实则为作者对时局的微词。戎马一生、屡树战功的将军，却被罢斥，足见朝廷之“不明”。两句为对文，作互文看更有慨触。次句语由直寻，羌无故实，但“老去”犹“恋”，则使人不能不想起廉颇老矣还希重用的史实，而同情这位被迫退职的军人。
颈联两句又荡回过去，承“曾驱”来，追忆将军昔日独镇“三边”（泛指边防），敌寇生畏，关塞晏然，有功于国。次句为“一剑知轻生”的倒句。“一剑知”，意谓奔勇沙场，忠心可鉴，此外，出生入死，效命疆场，也只有随身伙伴——佩剑知道。有感于时局不明，焉得逢人而语，这是感慨系之的话。两句字斟句酌，句凝字稳。谓语“静”“知”殿在句后，以示其人的功业与赤心。独静三边，为国轻生，以示“罢归”，尚非其时。
以上六句都可视为挥手别后所思，尾联“茫茫江汉上，日暮欲何之”结到眼前，以实景束住，念及其故居旧业无存，因此有“欲何之”的忧问。既罢归而无所可去，伤其恓惶流落，老而不遇。这末尾回首一问，既关合“罢归”句，又与起手“流落”语意连成一片。日暮苍苍，汉水茫茫，老将白发，归去何方。沉沉暮色吞去了一片孤帆，茫茫汉江也似乎吞没了诗人关照的疑问，“欲何之”的关注之情，也使人思绪波荡，触动读者深切的寻思和悬念。
《世说新语》载西晋时石崇与王恺斗富，王恺是国戚，得到晋武帝的援助，赐他一株二尺来高的珊瑚树，作为炫耀的资本。殊不料石崇举起铁如意，当场狠命一击，珊瑚宝树顿时应声而碎。石崇随即取出六七株三四尺高的珊瑚树作为赔偿，王恺羞惭而去。这段故事并非发生在“酒边”，但该篇首句的“碎珊瑚”，无疑是化用了这则典故。“酒边”是为了加映珊瑚之红，而以宝物的碎溅来比喻落花的飞散，于形象之外更有一种触目惊心的效果。
第二句的用典也与石崇沾边，即著名的“金谷园绿珠坠楼”。侍中孙秀垂涎石崇的爱姬绿珠，指名索取，石崇坚决拒绝。孙秀就矫诏逮捕了石崇。《晋书·石崇传》对此有一段简练而传神的叙写：“崇正宴于楼上，介士到门。崇谓绿珠曰：‘我今为尔得罪。’绿珠泣曰：‘当效死于官前。’因自投于楼下而死。”以美人坠楼喻落花殒香，同样是既逼真又惨怛。“日暮东风怨啼鸟，落花犹似坠楼人。”（杜牧《金谷园》）可见这一比喻是诗人的通感。
第三句语意直白，不像再有什么故实，但仍使读者不禁联想起杜牧的《叹花》：“自是寻春去较迟，不须惆怅怨芳时。狂风落尽深红色，绿叶成阴子满枝。”“狂风落尽深红色”，不就是“落花”命运的写照。作者在“绿叶成阴”即所谓“枝上翠阴”中，还添上了“鹧鸪”的悲啼，让它来悲挽落花的飞尽。元诗人萨都剌《过嘉兴》：“春风一曲鹧鸪吟，花落莺啼满城绿。”可见“啼鹧鸪”确是落花时节固有的景观。
小令的这三句鼎足对，首句从树上繁英纷落的角度着笔，即所谓花雨；次句则是落花飘坠的特写，暗含“一片花飞减却春”（杜甫《曲江》句）的寓意；第三句返回枝上，则是绿叶成荫，片红全无，彻底消抹了落花的存在。这样的三部曲步步推进，转接无痕，使人浑然不觉对仗的存在，却强烈地表达出“林花谢了春红，太匆匆！”（李煜《乌夜啼》）的惋伤。
诗人把落花的蒙难归咎于风雨，两者各负“一半儿”责任。“谩嗟吁”，则一派无可奈何花落去的神情。与张可久同时的曲家徐再思，也有一首《一半儿·落花》：“河阳香散唤提壶，金谷魂销啼鹧鸪，隋苑春归闻杜宇。片红无，一半儿狂风一半儿雨。”两曲不存在渊源关系，却出现了结尾的巧合，可见“风雨落花愁”的意识，在古人是根深蒂固的。