上阕咏史，写东晋谢安的经历，意在“以不早退为戒”。发端明点“安石”，领起上半阕。词人的写作角度比较独特，既不写他经天纬地的才能，也不写他建功立业的辉煌，而是写他人生的另一侧面。劈头就写谢安中年出仕的尴尬：他本来隐居会稽，踏上仕途时鬓发已开始染上秋霜，令人吃惊。再写人情的难堪：人到中年，与亲友相别时觉得难舍难分，于是借音乐来抒写离愁。而后突出他一向抱有的功成身退的心愿： “一旦功成名遂，准拟东还海道”。语气多么肯定，多么坚决，确实是对史书中所谓“安虽受朝寄，然东山之志始末不渝，每形于言色”（《晋书》）数语准确的表述。而结果却是“扶病人西州”，这就反跌出困於轩冕不遂雅志的“遗恨”。这种“遗恨”，便是作者引出的鉴戒——“不早退”。词中的“困轩冕”只是一个文雅的或婉转的说法，实际上（至少在某种程度上）与贪恋功名富贵是联系在一起的。
下阕述怀，设想早日“退而相头之乐”。换头“岁云暮”三字承上转下，“岁暮”当指年华老大，“早计”是对“遗恨”而言，其内容便是“要褐裘”，亦即辞官归隐，过平民生活。以下七句是由此产生的设想：在归乡的千里长途中，每逢山水名胜或有贤主、良朋接待之类好的去处，可以随意逗留，尽情游乐，不必如官场中人因王命在身而行道局促，一层：我带着醉意唱歌时你跟着唱和，我因醉酒倒下时你要搀扶我，——只有酒是可以使人忘怀得失的，二层：这样，有雄心大志的人会瞧不起我们，那就悉听尊便好了，我们只管走自己的路，三层：这种种设想，情辞恳切，言由中发，有如骏马驻坡，不可遏止，充分表现出词人对辞官归隐而享弟兄“相头之乐”的夙愿。“我醉歌时君和，醉倒须君扶我”，极写想象中“退而相头之乐”的情态，简直是对二人的“合影”。篇末“一任刘玄德，相对卧高楼”两句，反用典故，并非真要趋同胸无大志的庸人，而只是强调素愿的坚定不移，这体现了用典的灵活性。
同《南乡子》（东武望余杭）、《醉落魄》（分携如昨）、《减字木兰花》（贤哉令尹）等词作一样，这首词着重表现了苏轼前期思想的另一面，虽然“功成名遂”尚未实现，出仕思想仍占上风，但在某种程度上徘徊于出处之间，却是可以肯定的。早在嘉祐五年（1060）苏氏弟兄寓居怀远驿时，即有“夜雨对床”，“为闲居之乐”（苏辙《逍遥堂会宿二首》引、《再祭亡兄端明文》等）的口头约定，这一回正是对前约的重申，当然在很大程度上也是出于对其弟的安慰，词中流露出深厚的兄弟之情。不过，他在诗词中不断表达的这种归卧故山的雅志，最终还是没有实现。苏辙词中的“但恐同王粲，相对永登楼”，倒成了他们此后生活的写照。
这首诗充分体现了诗人矛盾的心情。他自认为随着年龄的增长经历的增加，就能参透俗世，看透俗事，不会像潘岳那样多愁善感了，但是遇到“晚雨秋阴”的景象，依然难平心绪。
开篇两句，写傍晚秋阴、酒醉乍醒，客观条件（季节气候不佳、身体状况不佳）和主观条件（感时）都令诗人心情不能平静，从而为全诗定下了情感基调。
三四两句，写秋日风景，“黄花”“红杳”本是秋天里最具生命力的物象了，然而在诗人眼中，单一的黄花却远远构不成绚丽的色彩，而红色的杳子在风雨之中飒飒作响，如沙场鼓声，徒增秋日的肃杀之气。“背世返能厌俗态，偶缘犹未忘多情”与“自从双鬃斑斑白，不学安仁却自惊”两句中表现了诗人“心绪难平”。不妨回顾一下当时李煜为了超脱于皇位之争而筑室钟山读书，即位之后在北方的威压之下还是不改诗书歌舞之乐，即可了解其“背世”“厌俗态”的高雅之意；而对于丧子、亡妻痛苦的诗词咏叹，都是发生在面对北方军事威胁的背景之下，则读者于此又不难领会其“多情”背后的软弱无助当多愁善感的词人被推上君王的位置，在弱肉强食的乱世求生存的时候，大约应该都是李煜这种悲秋的样子：满怀恐惧，满怀凄惶直至在两鬓斑白中走向毁灭。
