这首诗首联记事，写诗人在征途上不知道走了多久、多远；颔联写景，天寒风浪，突出了旅途上的艰辛；颈联开始抒发无时不在的思乡之情；尾联写行舟途中得鲤鱼后所引发的思念之情。全诗蕴籍含蓄，意在言外，颇堪玩味。
一二句记事。“一挂吴帆”是说自水路前去吴地，“不计程”是无法计算路程，极言自乡至吴水路的遥远；下句承接上句，从船只多次的停泊与开行再写行舟之久。两个“几回”，见水路行程的单调与乏味，又与上句“不计程”相照应。虽不言“忆”，而“忆”意隐含其中。
三四句写景，这是一联工整的对偶句。上句写天空，下句写江面。江南秋色本是迷人，更何况此次又是江行。然而映入诗人眼帘的却不是“楚天千里”的一片“清秋”，而是“天寒”“云冻”“江阔”“浪生”。“天寒”二字固然有诗人自己的感觉在内，“云”之能“冻”更是经过诗人感情滤化了的景物，表现了天色的阴霾、沉重。然而诗人还叙述，此刻天空是“有日”的，“有日”则云不应“冻”，但“云犹冻”，可见日色的晦暝，更增加了惨淡的气氛。
再看江面，“江阔”本给人以显豁之感，再加“无风”，则更应是坦途，但“浪自生”显出了水势的汹涌。这一联描绘景色确切；“有日”“无风”，一有一无，都能宕开一步。虽是景语，但也表现了诗人离乡远行时那黯淡、凄凉的心境。
五六也是以工整的对偶写景。上句从“家山”之变为“数点”，可见诗人自登舟离家的那一刻起，就凝望着越来越远去的故乡；从“常在眼”三字，可以想见当这“数点”“家山”从视线中消失之际，它的形象却时时浮现在诗人眼前。上句浸透了诗人难以排遣的乡思乡愁。
下句的“寒雁”与颔联的“天寒”相照应，点明时值深秋。凄冷萧瑟的秋天本来容易使人产生思乡之情，更何况此时大雁又正飞向诗人离别了的家乡，长空一声雁叫自然会牵动诗人满怀的愁情。这一联中的“数点家山”与空中“寒雁”本是一幅淡远迷蒙的水墨画，一声雁叫又为这画幅增添了凄冷的气氛。颔联、颈联同属写景，但前一联写的是自然界之大景，情隐含于景中；后一联写的却是与诗人关系更为密切的远景，情与景结合更为紧密，抒情性也更为明显。
最后两句转入叙事。船工在行舟时捕得鲤鱼是很平常的事，诗歌的妙处在于诗人在“鲤”前加了“南来”二字，鱼是从家乡来的，然后借用这习见的事，通过《汉乐府·饮马长城窟行》中“呼儿烹鲤鱼，中有尺素书”的典故，抒发盼望家书的急切心情。事借得巧，典故用得巧，表达了深沉的抒情意味。
从表面看，这首七律以“行舟”为线索，全诗四联围绕行舟分写行程之远、江行之险、家山寒雁、烹鱼取书；而究其内在的含义，忆兄弟、思故乡的情愫才是贯串全诗的一条主线，无论记事、写景、用典，其中包含的抒情成分是一层深似一层的。因此，除诗题而外，全诗无一字写及手足情，而手足之情甚浓；无一句明叙家乡恋，而家乡之恋自深。
这首诗的前二联状写外家南寺的深秋暮景，景中寓情。后二联抒发国破家亡的感慨，议论警醒。诗中用秋梧、晚烟、乱蝉等富有象征意义的凄凉意象，构成一幅萧瑟黯淡的深秋图景，使读者自然而然地的体味诗人在诗中所涵咏的意味，体现了“神余象外”的艺术特点。
首联抑扬有致，渲染悲秋氛围。时值秋日傍晚，高大挺拔的梧桐树，伸展繁枝茂叶，不停地摇晃，舞动着一缕缕袅袅上升的炊烟。庭院内，秋风瑟瑟，秋露滴滴，诗人才感觉到深秋已悄然来临。梧桐在古人眼中是一种嘉美的奇树。齐谢眺《游东堂咏桐诗》说它“高枝百丈余，枝生既婀娜，叶落更扶疏”。一个“动”字，给梧桐树注人了生机，仿佛是它在傍晚时分当空舞动着轻袅的炊烟。秋日梧桐的繁盛丰茂，在视觉上给人一种错觉，使诗人未能强烈意识到秋色的浸染；只是满院的风露，才从触觉上使诗人真切感受到浓重的秋意。前扬后抑，顿挫有致。这两句不避重复，连用两个“秋”字，浓浓地酿造了“悲哉秋之为气也”的气氛。
颔联虚实相参，传写故国哀思。眼中看到的是高岸崩陷，变成洼地，深谷填塞，反成山陵。诗人用自然界地理上高下易位的变化，比喻世事发生巨大变化，这觉指国破家亡。沧桑之感与悲怆之情，使诗人久久陷在深重的忧愁觉。而西坠的残阳，乱噪的寒蝉，又添愁助恨，使诗人更加心烦意乱。这觉，“高岸”、“深谷”并非“眼中”所见的实有之景，而是诗人拈来比喻的虚拟之物；“残阳”、“乱蝉”是“眼中”具象的实有之景，诗人却将它们置于抽象的“愁觉”。笔姿虚实互生，更增沉郁之情和顿挫之致。
颈联今昔对比，喟叹沧桑巨变。元氏家族几代为官。曾祖做过北宋的隰州团练使，祖父为金朝的柔服丞，父隐居不仕，叔父格屡任县令，诗人官至尚书省左司员外郎，可谓“世代衣冠”。然而，金亡后，他沦为阶下囚、亡国奴，自此，他抱定“今是中原一布衣”（《为邓人作诗》）、“衰年那与世相关”（《乙卯端阳日感怀》）的生活宗旨，成为金朝遗民。从昔日的“世代衣冠”到今日的“中原布衣”，他有多少故国盛衰兴亡的感叹啊！他回到儿时读书的外家南寺时，人已垂垂老矣，物是人非，怎不追忆当年那寻梨觅栗的生活情景呢！从“衣冠”到“布衣”，地位悬殊，从少年到白头，岁月漫长，时空的强烈对比呈示诗人内心巨大的怆痛。
尾联抚事兴叹，回首人生历程。诗人从外家南寺“僧窗借榻眠”开始读书生涯，辗转二十多年后，又回到外家南寺，“依旧僧窗借榻眠”。人生仿佛画了一个圆圈，一切重又回复原样。只是诗人作为历史长河中的一位匆匆过客，经历了人世间各种变迁，参透了人生真谛，如今已成了白发苍苍的老翁。平平的叙述，却蕴含着深沉的身世感叹和深邃的历史内涵。“依旧”二字看似等闲，万不可轻轻放过：以前是金廷臣民，现在金廷虽亡，自己“依旧”不改忠于金廷的初衷。这二字正体现了他矢志不仕的民族气节。
这首诗善于运用富有内蕴的物象呈露内心情感世界的震颤。秋梧、晚烟、风露、残阳、乱蝉，这些肃杀、萧瑟凄凉、衰微的意象，一经诗人驱使，即准确而有力地渲染了环境氛围，成为诗人宣泄哀伤悲痛心绪的媒介。这首诗又善于在平和冲淡的叙述中寓含深刻强烈的议论。“今日”、“当年”的兴亡感喟，“白头”、“依旧”的忠贞信念，不着一字，却让人受到深深的感染，其内含的精神力量胜过长篇泛泛而谈的大论。
