此诗开头四句由傍晚登临纵目所见，引起对历史及现实的感慨。人们在登高临远的时候，面对寥廓江天，往往会勾起对时间长河的联想，从而产生古今茫茫之感。这首诗写登楼对景，开篇便写河中百尺危樯，与“烽火城西百尺楼，黄昏独坐海风秋”（王昌龄）、“城上高楼接大荒，海天愁思正茫茫”（柳宗元）等写法异曲同工。以“高标出苍穹”（杜甫）的景物，形成一种居高临下、先声夺人之感，起得气势不凡。此句写站得高，下句则写看得远：“汀洲云树共茫茫。”苍茫大地遂引起登览者“谁主沉浮”之叹。遥想汉武帝刘彻“行幸河东，祀后土”，曾作《秋风辞》，中有“泛楼船兮济汾河，横中流兮扬素波，箫鼓鸣兮发棹歌”之句。（《汉武故事》）所祭后土祠在汾阴县，唐代即属河中府。上溯到更远的战国，河中府属魏国地界，靠近魏都安邑。诗人面对汀洲云树，夕阳流水，怀古之幽情如洪波涌起。“汉家箫鼓空流水，魏国山河半夕阳”一联，将黄昏落日景色和遐想沉思溶铸一体，精警含蓄。李益生经战乱，时逢藩镇割据，唐王朝出现日薄西山的衰败景象，“今日山川对垂泪”（李益《上汝州郡楼》），不单因怀古而兴，其中亦应有几分伤时之情。
后四句由抚今追昔，转入归思。其前后过渡脉络，为金圣叹所拈出：“当时何等汉魏，已剩流水夕阳，人生世间，大抵如斯，迟迟不归我为何事耶？”“事去千年犹恨速”一句挽结前两句，一弹指间，已成古今，站在历史高度看，千年也是短暂的，然而就个人而言，则又不然，应是“愁来一日即为长”。“千年犹速”、“一日为长”似乎矛盾，却又统一于人的心理感觉，此联因而成为精警名言。北宋词人贺铸名作《小梅花》末云：“遗音能记秋风曲，事去千年犹恨促。揽流光，系扶桑，争奈愁来一日却为长！”就将其隐括入词。至此，倦游思归之意已水到渠成。“风烟并是思归望，远目非春亦自伤。”非春已可伤，何况春至。无怪乎满目风烟，俱是归思。盖“人见是春色，我见是风烟，即俗言不知天好天暗也。唐人思归诗甚多，乃更无急于此者”（金圣叹语）。
诗的首句“迟日园林悲昔游”，是因眼前的春光回忆起往昔的春游。当年，春日迟迟，园林如绣，游目骋怀，该是心旷神怡的。而这里追叙“昔游”时却用了一个“悲”字。这个悲，是今天的悲，是从今天的悲追溯昔日的乐；而反过来，也可以说，正因为想起当时的游乐，就更觉得当前处境之可悲。吴乔在《围炉诗话》中说：“情能移境，境亦能移情。”这一句诗是用现在的情移过去的境，为昔日的欢乐景物注入了此时的悲伤心情。
诗的第二句“今春花鸟作边愁”，是从昔游的回忆写到今春的边愁。一般说来，鸟语花香是令人欢乐的景物；可是，这些景物却使诗人更想起自己正在流放去边疆的途中。鸟语也好，花香也好，在诗人心目中只构成了远去边疆的哀愁。这一句诗是以心中的情移眼前的境。诗人缘情写景，因而景随情迁。如果就艺术手法来说，以“花鸟”与“边愁”形成对比，是从反面来衬托边愁。与杜审言的这句诗有些近似的有杜甫《春望》诗中的“感时花溅泪，恨别鸟惊心”一联，司马光的《续诗话》评这一联诗说：“花鸟平时可娱之物，见之而泣，闻之而悲，则时可知矣。”这里，以花鸟可娱之物来写“感时”、“恨别”之情，采用的也是反衬法。杜审言是杜甫的祖父，对杜甫有直接影响。“花溅泪”、“鸟惊心”一联，可能就是从“花鸟作边愁”这一句化出的。
诗的第三句“独怜京国人南窜”，是整首诗的中心，起承上启下作用。上两句，忆昔游而悲，见花鸟成愁，以及下一句为江水北流而感叹，都因为诗人远离京国，正在南窜途中。上下三句都是围绕着这一句，从这一句生发的。但这一句还没有点到《渡湘江》这个题目。最后一句“不似湘江水北流”，才提到湘江，点破诗题，而以“水北流”来烘托“人南窜”，也是用反衬手法来加强诗的中心内容。
杜审言渡湘江时，正值春光明媚，绿水映青山，秀丽的异乡风光撩人意绪，使被贬迁异地的诗人缅怀过去，遐想未来，心中怅惘、失落。因此诗的起句感情深沉地直诉：“迟日园林悲昔游”。他触景生情，回忆起从前在这春光晴丽的大好时光里，尽情游赏园林景色的乐趣，间或还有朋友与他一同饮酒赋诗，赏春惜春，好不痛快。如今只身南迁，心中之悲不难想象。“迟日园林”与“昔游”之间加一“悲”字，使句意曲折而丰富，语势跌宕而劲健。对句：“今春花鸟作边愁”。“今春”指出渡江的时间。“花鸟”概括春景，虽没有直接描绘声色，而鸟语花香的境界已在眼前。“作边愁”，是说今春的花和鸟不同往年，它们也含愁带恨。这里用了移情入景的手法，以比兴表达诗人的愁思。一个“作”字，语意双关。既象说花鸟，又是说人，亦可理解为人与花鸟同说，婉曲而有机趣。
这句诗色彩清淡，情意浓挚，七个字，淋漓尽致地抒发了诗人远游伤春的情怀。“独怜京国人南窜”，是这首诗的中心所在，从前两句的忆春、伤春转入叙事抒情，感慨自己从京都流贬到荒僻的南地。“独”字下得有力，使全句生神，激活全篇。“不似湘江水北流”，紧承第三句点题作结，出语自然。管世铭《读雪山房唐诗序例》说：“初唐七绝，味在酸咸之外，‘人情已厌南中苦，鸿雁那从北地来 ’，‘独怜京国人南窜，不似湘江水北流’，‘即今河畔冰开日，正是长安花落时 ’，读之初似常语，久而自知其妙。”所谓“味在酸咸之外”，即指诗中蕴含的情感复杂丰富余味无穷。这些诗句的妙处，不仅在于融情于景，而且还通过时间、空间、景物的不同对比，形成一种杳邈迷茫的意境，仿佛有万般的游丝争惹人的离愁，读者细细体味就能感受其巨大的感染力。“独怜京国人南窜，不似湘江水北流”，初读似常语，并无警策之处，仔细品味，就可看到诗人怅惘的形象。他独立舟头，思悠悠，无限离愁，正如一江春水向北流。杜审言性格爽朗轩豁，喜直抒胸臆，这自是其诗的特色之一。《载酒园诗话》说他“即作磊砢语，亦犹苏子瞻坐桄榔树下食芋饮水，略无攒眉蹙额之态。”这段形象的评语，可帮助我们从多方面去感受欣赏杜审言诗的风格。
胡应麟对这首诗的评价很高，他说：“唐初五言绝，子安诸作已入妙境。七言初变梁陈，音律未谐，韵度尚乏。惟杜审言《渡湘江》、《赠苏绾》二首，结皆作对，而工致天然，风味可掬。”这首诗以押韵对起，又以对作结，俱有整齐美、和谐美以及反复咏叹的韵味。初唐时期是七绝初创的阶段，杜审言这首《渡湘江》是有相当影响的，说它“具有开启诗坛新风的作用”，也不为过誉。
《自君之出矣》是乐府旧题，题名取自东汉末年徐干《室思》诗句，《室思》第三章：“自君之出矣，明镜暗不治。思君如流水，无有穷已时。”自六朝至唐代，拟作者不少，如南朝宋时的刘裕、刘义恭、颜师伯，陈朝陈后主，隋代陈叔达等，均有拟作，唐代作者尤多，见于宋代郭茂倩《乐府诗集》。这些拟作，不仅题名取自徐干的诗，技法也仿照徐干的诗。雍裕之这首诗（《吟窗杂录》载辛弘智《自君之出矣》与此诗相同，并收入《全唐诗》），模仿的痕迹尤为明显。这首诗表现了思妇对外出未归的丈夫的深切怀念，其手法高明之处在于立意委婉，设喻巧妙，所以含蓄有味。
自从夫君外出，思妇独守空闺，整日相思怀念；平日梳妆打扮，都是为了让他看了满意，而今他走了，便不必再去对镜簪花了，她想：“这宝镜为谁明呢？”意思是宝镜既不为谁明，也就自然不明了，是“明镜暗不治”的进一层说法，比李咸用《自君之出矣》“鸾镜空尘生”说得更为委婉。这种表达方式，不只是徐干《室思》的继承和发展，其源可上溯到《诗经·卫风·伯兮》：“自伯之东，首如飞蓬。岂无膏沐，谁适为容？”意思是：“妆扮美容，只是为丈夫；丈夫不在，何必梳妆？”这就是司马迁《报任安书》所说的“女为悦己者容”，正表现了女子对于丈夫的忠贞。
思念夫君，就像陇头的流水，长流无极；听到陇水呜咽的流声，让人肝肠断绝，感伤悲泣。在徐干《室思》中，只是说“思君如流水，无有穷已时”，是一般化的说法；雍裕之则将“流水”具体化为陇水，这就如同北朝无名氏的《陇头歌辞》中的句子：“陇头流水，流离山下。念吾一身，飘然四野。”以及“陇头流水，鸣声呜咽。遥望秦川，心肝断绝。”这首歌刻画了一个漂泊他乡的游子的形象。“思君如陇水，长闻呜咽声”，因为暗用了《陇头歌辞》，便使所思念的夫君在外的情况，有了一个比较具体的内容，即在外过着凄凉漂泊的生活；这个“思”字，便更带有强烈的感情色彩，主人公简直要声泪俱下了。除了“陇头流水”的联想之外，这里还保存着徐干《室思》“思君如流水”这一巧妙的比喻。这种比喻是将感情物化，即以有形的物体的形象来比喻无形的内心的情思。以流水喻思君之情，可以兼含多种意思：第一，以水流不断，比喻日夜思君，如“无有穷已时”即取此义；第二，以水流无限，比喻思妇情长。如李白“请君试问东流水，别意与之谁短长”，以流水之长比喻情意之长，即取此义；第三，以流水呜咽，比喻情意凄切。如果说前二义可以在流不断与思不断、水无限与情无限之间直接找到“相似点”，那么水流呜咽与情意凄切便很难直接找到“相似点”，必须加以联想，由流水联想到水声，由水声联想到呜咽哭泣之声，由呜咽声再联想到感情的凄切。这是超越“相似点”的比喻，是“不似之似”，修辞学上称为“曲喻”。李贺《天上谣》“银浦流云学水声”，即属于此类比喻。由于《自君之出矣》后两句的比喻十分巧妙，不仅化无形为有形，增加了诗的形象性，而且具有多种含意，这就给读者提供了广阔的联想天地，使读者读了感到余味无穷。