此诗可分三部分。前六句为一部分，描写诗人汉江泛舟和登江中孤屿的情景。先写潮水退后，清悠悠的汉水中，小岛显得更加突兀。这两句诗扣题面而不直接写登孤屿，而只以“水落沙屿出”暗示。紧接着重写汉江：大石下的回水潭，深不可测。岸边的翠竹，密密匝匝。传说中的鲛人，潜伏在水中。江上的渔父唱着歌儿，怡然自得。张华《博物志》载：“南海外有鲛人，水居如鱼，不废绩，其眼能泣珠。”诗人将汉江、汉江两岸的景色、传说中的鲛人、江上的渔父交织在一起，多角度地表现汉江的神奇美丽。既写游汉江，同时也为后文回忆与王迥泛舟作铺垫。
第二部分共四句，回忆与王迥游江和登江中孤屿。诗兴非一，兴致无穷，不一而足，由于有第一部分作铺垫，这里只以“夕阳”一句景语，“中坐”一句情语，就将两人一起游览的情景，清晰地展现在眼前。
最后两句为第三部分，抒写诗人对王迥的思念。因为思念王迥，遥望王迥住的鹿门山；回到家中，仍然怅然若失。诗以美丽的汉江为背景，以游汉江为情节，把相思的感情通过具体的生活抒写出来，真挚而又绵长。结构上以游汉江开始，以归家作结，中间插入一次游汉江的回忆。全诗浑然一体，一气呵成，如同一篇优美的抒情散文。
这首小令从唐女子刘采春《啰唝曲》“那年离别日，只道往桐庐。桐庐人不见，今得广州书”的绝句脱化，也穿插了《啰唝曲》“莫作商人妇”及白居易《琵琶行》“老大嫁作商人妇，商人重利轻别离”的意境。但较原诗来看，“闺怨”的含意更为显豁。“悔作”、“当逢”，口吻如生，表现出散曲小令开门见山的直露本色。“闺怨”的前提多为夫君别离远出，唐诗往往将这种前提加以隐掩或推衍。除上举的《啰唝曲》外，如张潮《江南行》：“茨菰叶烂别西湾，莲子花开犹未还。妾梦不离江上水，人传郎在凤凰山。”其妙味如前人所评：“意其远行，却在近处。总以行踪无定。”看来恰恰同《啰唝曲》的“意其近行，却在远处”反了个向。不过要让读者一览即领悟却不容易，可见唐诗是过于偏重含蓄了。
徐再思改诗为曲的原因，可能就是为了化含蓄为显露，当然也有别的因素。唐韩偓《偶见》：“秋千打困解罗裙，指点醍醐索一尊。见客人来和笑走，手搓梅子映中门。”不怎么知名；而李清照化用其意作成的《点绛唇》秋千词，“见有人来，袜划金钗溜。和羞走，倚门回首，却把青梅嗅”云云，却为人传诵。可见夺胎前人成作，也不失为出新的一途。
原诗的薄情夫君“只道往桐庐”。桐庐在富春江中游，唐方干《思江南》：“夜来有梦登归路，不到桐庐已及明。”看来唐代桐庐为一交通中心。曲中改成了“别时只说到东吴”。东吴的指谓说法不一，据周祁《名义考》，元明时习以苏州为东吴、湖州为中吴、润州为西吴，苏州在元代确实是繁荣的商业城市。这也说明曲作者不是简单地模仿照搬，而是根据元代的实际情形更改了“闺怨”的细节。
