这首词写秋日登彭氏小楼的情景。首二句泛写登楼所见所感，接着叹息自己为生计所迫，或寄人篱下，或辗转远游，过着不能自主的生活。后二句由感喟身世而转到怀人，并料想亲人也在惦念自己，双方情意绵绵，相互思念。全词以景含情，气氛凄冷；语言清新明快，篇幅虽小而情味深长。
姜夔的这首《忆王孙·番阳彭氏小楼作》与其他相同词牌的作品相比，要略胜筹。作为一首描写羁旅飘泊的词作，词人并未将重点放在对漂泊的具体抒写上，而是通过抒发他内心的孤寂、伤感，将人引入一个更为幽微的境界，细致人微，感人至深。
起句以写景引起，并点明节序。冷红，盖指枫叶。霜后的枫叶一片绯红，在肃杀的秋风中，正一叶一叶飘落到秋塘中去。白石词多用“冷”字，如《扬州慢》“波心荡，冷月无声”，《踏莎行》“淮南皓月冷千山”，《念奴娇》“嫣然摇动，冷香飞上诗句”，《暗香》“香冷入瑶席”，而且往往以通感的形式出现，将自己凄凉的身世之感移情到几个创造的意象中。用“冷红”形容飘散的枫叶，顿觉凄冷的气氛笼罩全词。古代文人伤时悲秋，见秋风落叶，或怀念故土，或忧伤身世，并不稀见。
不过，次句“长与行云共一舟”，句法颇为新颖。行云，常用来比喻飘泊江湖的游子。如曹植《王仲宣诔》：“行云徘徊，游鱼失浪。”张协《杂诗》：“流波恋旧浦，行云思故山。”姜夔一生未仕，四处飘泊，行踪不定，用“行云”来象征其身世，很为恰切。这里他不直说身如行云，而偏说“长与行云共一舟”，这就不落俗套。词人浪迹江湖，居无定所，乘舟走到哪里，天上的行云也仿佛跟到哪里，这难道不是与行云“共一舟”么？以上两句，泛写登楼所见所感，不仅切合当时所处的环境，其创意出奇之处，也透露出白石词“气体超妙”（陈廷焯《白雨斋词话》卷二）“如野云孤飞，去留无迹”（张炎《词源》）的特色。
下一句承上意，具体点明所处之地。不自由，即不由自主。白石一生未仕，布衣终身，穷愁潦倒的知识分子为生计所迫，以请客身份或寄人篱下，或因人远游，辗转风尘，哪有安身立命之地？“不自由”，看似浅淡，却道出了飘泊江湖的无穷酸辛。游子在孤独落寞之际，总要想起知心体贴自己的故旧或亲人，结尾两句即由伤飘泊转到怀远人。
“两绸缪”，一笔两用，兼写男女双方。绸缪，缠绵之意。《诗。唐风盈觞酒，与子结绸缪。“此句写自己与合肥情侣双方情意绵绵，相互思念。“料得吟鸾夜夜愁”则专写对方。古人觉以鸾凤喻夫妇，此处”吟鸾“而加上”料得“，当指因相思之苦而夜不成寐的伊人。让人想起李商隐的诗句”夜吟应觉月光寒。“由自己思念对方而想到对方会无限思念自己，透过一层，感情更为深至，意境更为深远。”夜夜愁“，写出对方无夜不思，无夜不愁。词人相信对方对自己如此真挚思念，也正反映了词人对于对方的一往深情。
全词以感叹身世起，由写景开端，以抒情歇拍，由妻子怀想收结，巧妙地将身世感叹与怀人情愫绾合起来，凝炼地写入短短的五句词里，真是“超妙入神”。
开首四句，即以高度概括的语言、自己亲历的事实，控诉了隋炀帝发动战争和三下江都给人民带来的灾难。“我兄征辽东，饿死青山下。”隋炀帝在大业八、九、十三年曾三次东征高句丽，仅大业八年一次，就分十二路发兵一百一十三万余人，战死者不下三十万。接着，就以“今我挽龙舟，又困隋堤道”，来说明这种灾难简直是接二连三。“龙舟”，隋炀帝南下江都时特制的一种大船，据《通鉴·隋纪》载，龙舟高四十五尺，长二百丈，共四层，上有正殿、内殿、朝堂及许多其他房屋。儿子被征去打仗饿死途中的余痛未消，自己又被征来拉纤，这已经够痛苦了，更痛苦的是也被陷入了九死一生的困境。
“方今”以下四句，即具体叙述自己所处的困境：当今普天下的收成都不好，路上的口粮简直没有一点点（“些小”），这一去路程有三千里，路遥无粮性命怎能保，恐怕是要死在路上了。“方今天下饥”一句，似轻实重，看似在解释“路粮无些小”的原因，实则已将普天之下民不聊生的境况概括反映了出来。看来，不仅是歌者陷入了“路粮无些小”，“此身安可保”的困境，大多数纤夫、普天下的百姓，怕也都要为无粮而丧命了。
“寒骨”以下四句，是歌者想像自己死后的情景：我的尸骨将被抛撒在荒郊野外，任凭风吹日晒；游荡异乡的孤魂，将在烟雾荒草间哭泣。家中的妻子，将因悲伤而哭坏身体；父母双亲将因盼我归去而望穿双眼。这是何等凄惨的画面。这虽是歌者设想死后的情景，但却是十分真实的。无论远征军士也罢，无论远行民夫也好，该有多少人暴死荒郊，该有多少人家破人亡。兄长饿死青山、全家悲痛欲绝的情景，他都是亲历了的。因此，对自己死后的情景也就描绘逼真。
“安得”第四句，是诉说自己惟一的希望。歌者已自料必死，且尸陈异乡，因此，他只希望能有个义气男儿，将他这无人认领的尸体焚烧，把他的骸骨运回乡里，把他的亡灵引渡回家。这歌者竟不作活着归来之想，而把能将骨骸运回作为惟一的希望，其情也可哀，其境也可知。这是他对“义男儿”的希望，同时也是对逼迫他陷入死亡境地的统治者的控诉。若无隋炀帝的重赋繁役，他何以必死。把人逼到将尸骨运回便算幸运，这是一个何等黑暗残暴的社会。
这是一首直接表达人民悲痛和愤恨的民歌。它全以第一人称的口吻，控诉了隋炀帝给人民造成的灾难，高度概括地反映了当时的社会状况。语言质朴凝重，情感真切动人。
