上片，追忆歌妓、侍女的深情与作者的思念。“昨夜渡江何处宿，望中疑是秦淮”，点明即将渡江的时间与行踪，突出描绘想象中的繁华秦淮。秦淮有歌女成群的黄金河畔楼台。唐代诗人杜牧《泊秦淮》唱道：“烟笼寒水月笼沙，夜泊秦淮近酒家。商女不知亡国恨，隔江犹唱后庭花。”宋代诗人贺铸《秦淮夜泊》也唱道：“楼台见新月，灯火上双桥。隔岸开珠箔，临风弄紫箫。”忆起王胜之昔日秦淮之风流，更加深恋今日秦淮的韵事。接着写宿处“月明”时，笔锋一转，突然有人吹起悲哀的笛声。这是受主人之爱而又得不到真情的凄楚之音，难言之音。吹笛者不知是谁，最后两句，引用六朝“王谢女”故事，作了回答。唐代文学家刘禹锡《金陵五题》写道：“朱雀桥边野草花，乌衣巷口夕阳斜。旧时王谢堂前燕，飞人寻常百姓家。”正是这“旧时王谢堂前燕”，烘托出了欢送王胜之上任之歌妓深情：既吹笛“多情”，又“相逐过江来”。
下片，写情势不许，情爱成影，有难言之隐。第一、二句，点化活用宋玉《高唐赋》中神话。巫山神女比喻“相逐过江来”的歌妓与侍女；将其神话比作情爱，尚未成真而今又分离了。作为歌妓，就是歌妓，官人无论如何喜爱，但要成为真正情爱是难越过封建社会等级观念障碍的，自然“相逐过江来”的歌妓与侍女，只能“云雨未成还又散”，令人“思量好事难谐”。第三、四句，从两个方面点明“云雨散”，“好事难谐”的原因：一是“凭陵”逼迫，情势不允许；二是“急桨”人催促开船不容犹豫。所以“两相催”成了这种不得不分离的现状和难言之隐的伤痛，“妓婵娟，不长妍”（孟东野《婵娟篇》）。最后两句“想伊归去后，应似我情怀”，为点题之笔，道出了东坡十分同情歌妓的心底之言：将心比心，心心相印，悔而又晚，隐痛难言，此恨绵绵无尽期。
这首词原本为送王胜之龙图至南都之作。只因即歌妓与侍女陪送之事，而转到写这些底层女性无主的命运。在官人当政春风得意时，这些歌妓与侍女就是“王谢女”；当官人贬谪或迁移不得志时，这些歌妓与侍女则成为“归去”女。作者批判昔日的秦淮韵事，同情眼前吹奏哀笛的歌妓的凄凉命运，就充分反映了他不为世俗传统观点束缚的新型妇女观。
诗从自己的行程写起，天还没有大亮就趁着月光从云阳出发，到太阳落山才到达朱方，按这两地相距甚近，根本用不着花一天时间，所以这里言外显然是要说自己在途中有相当长的时间呆在庐陵王墓下（刘宋皇室的陵墓都在朱方的郊区）。诗人对这位不幸遇害的少年王子表示最沉痛的哀悼。“道消”两句要表达的意思是，在徐羡之等人横行的岁月里，小人猖獗，君子道消，自己十分愤懑，但无从表达，郁积于胸中已久；现在拨乱反正，国运中兴，才得以一抒其哀悼的深情。“开运”二字有歌颂刘义隆之意。
“神期恒若存，德音初不忘”两句说逝者虽死犹生，当年的谈话自己是不会忘记的。自己与墓中人的关系一般来说乃是伤逝一类诗歌最重要的内容，往往会写得比较多；但这里却一笔带过，点到即止，很快就转入“徂谢易永久，松柏森已行”，感慨时光过起来真快那种比较常见的叹息当中去了，似乎不免有些奇怪。
这里有些不得已的原因。在刘宋王朝开国皇帝刘裕的七个儿子中，首先继承皇位的老大刘义符最缺乏政治家素质，他的爱好是乱玩一通，或模仿民间如何做小生意，于是很快就在一场政变中下台并被杀。他的二弟庐陵王刘义真则要出色得多，他很早就参加过刘裕恢复中原的战争，差点牺牲在关中；回到首都以后，注意笼络人才，与文化名人、宗教精英相接纳，对未来有所规划。《宋书》本传说他“美仪貌，神情秀彻”，“与陈郡谢灵运、琅邪颜延之、慧琳道人周旋异常，云得志之日，以灵运、延之为宰相，慧琳为西豫州都督”。刘裕去世前，他被任命为使持节、侍中、都督南豫雍司秦并六州诸军事、车骑将军、开府仪同三司、南豫州刺史，出镇历阳（今安徽和县），“未之任而高祖崩”，稍后才去历阳赴任，出发前“义真与灵运、延之、慧琳等共视部伍”，一个影子政府公开亮相了。
谢灵运正是在这样的背景下被召回首都任高官的。他对朝廷一举粉碎徐羡之集团、为庐陵王刘义真平反昭雪恢复名誉，当然是衷心拥护的，但是刘义真当年的狂言却绝对不宜去谈，于是他借用《诗经》中现成的“德音”一词，将自己与这位小王爷的深交含含糊糊地一提就告结束——再多说一句就成蛇足。
这时候只有哀叹刘义真的死于非命是不会犯任何忌讳的，宋文帝刘义隆在口头和书面上多次说起他那十八岁就被人害死的二哥义真乃一“冤魂”。所以谢诗也从这一角度切入，他主要用了两个典故，延州季子挂剑的故事见于《史记·吴太伯世家》，谢诗用这一典故既表明自己不忘故旧，也表明生者的纪念无法让逝者复生，这样做也没有任何用处。这是动了真感情的话，不是一般的门面语。“楚老惜兰芳”典出《汉书·龚胜传》，谢诗用这一典故的含义显然是痛惜刘义真毁灭于高尚，“抚坟徒自伤”则是觉得自己也可能有同样的命运。以脱俗的言辞来吊唁龚胜的楚老当是道家者流，他看清了一个人的高明之处往往给他带来麻烦以至于毁灭。高尚是高尚者的墓志铭。谢灵运在诗中大发这一类感慨，既以哀悼庐陵王刘义真，也表达了他本人深沉的忧虑。
“平生疑若人，通蔽互相妨。理感深情恸，定非识所将”四句比较曲折，不易索解。曾经有过不同的理解。《文选·庐陵王墓下作》李善注云：“若人，谓延州及楚老也。令德高远，是通也；解剑抚坟，是蔽也……言己往日疑彼二人，迨乎今辰，己亦复尔，斯则理感既深，情便悲痛，定非心识所能行也。”而吕向注则认为：“若，此也，此人谓王也。通，言聪明好古；蔽，谓与群邪不协，自见灭亡也。此两者互相其妨。”黄节先生《谢康乐诗注》大体取后一说并有所修正，指出：“通，谓生为帝子；蔽，犹塞也，谓废为庶人。此互相妨矣。”黄说甚是。追寻作品中词语典故的来源，李善本事很大；而对文学作品的理解，他的悟性似乎不是最佳，有时反不如学问要小得多的五臣。这四句诗略谓像庐陵王刘义真这样的人，他的高贵出身同他的悲惨遭遇实在是太矛盾了，简直不能理解，只好痛哭流涕。这里很有些无可奈何而安之若命的意思，但仍然抑制不住自己的感情。这四句略带玄言色彩，而正能表达其悲痛之深。最后几句说，刘义真死得太早，又死得特别冤枉，现在虽然得到昭雪，也不过是一个空名，我巨大的哀痛无法抑制，只好长歌当哭，根本算不上什么诗篇。
谢灵运的山水诗往往精细地描绘风景，感情色彩并不很浓，有一点也特别含蓄深沉，不大容易感觉到；他的政治抒情诗则不同，这一首更是很动了感情的。由于形势的微妙复杂，他不可能畅所欲言；但他其实把什么都说出来了，不愧是大诗人的手笔。