这首诗作于江淹被贬为建安吴兴令期间。黄蘖山的地点据旧注说在“吴兴府城”（今浙江吴兴）附近，这不足为信。因为诗中称“闽云连越边”，是在今福建和浙江交界之地，而吴兴则在江浙二省交界处，古人称之为“吴地”，与诗的地望不符。按：《宋书·谢方明传》记谢方明在东晋末孙恩、卢循起义中，从浙东取道“黄蘖峤”经今江西一带，逃到建康。可见“黄蘖峤”在今闽浙赣三省交界处，这地方离江淹被贬的建安吴兴（今福建浦城）不远。此诗当是被贬在建安吴兴后作。此诗写作时间，当比《渡泉峤道出诸山之顶》、《迁阳亭》诸作稍晚。这时他的心情已较迁谪之初稍为平静，所以不像那些诗有明显的怨愤之情而倾向于游仙诗的情调。
江淹的诗风在南朝比较特殊，他的诗一般较具古气，和谢朓、沈约为代表的永明诗人不同。但较之刘宋初年的谢灵运、颜延之又显得略见平易。但他有一些写景诗则用了一些古奥的辞语，似与谢灵运、鲍照等人相近。这首《游黄蘖山》亦属此类。诗中“残杌千代木，廧崒万古烟”二句就很古奥费解。“残杌”当指枝叶已尽的枯树干，“廧崒”据余冠英先生说：“疑‘廧’作‘崷’，‘崷崒’，高峻貌”（《汉魏六朝诗选》）。这两句是借此形容黄蘖山是一个人迹罕到的险僻幽静之地。从全诗看来，作者是到了一个高峻的深山之中，为那里的景色所打动而兴起了求仙的想法。在诗中，作者以形象的语言写出了山势的险峻：“金峰各亏日，铜石共临天”，这“金”、“铜”都是形容南方闽、赣诸省山区的红黄色土壤，“金峰亏日”、“铜石临天”无非形容山石的高峻。“阳岫”、“阴溪”则写面临日光的山峰和背阴的溪谷。山峰在日光下五色缤纷，而溪谷中又有泉水喷流，这一景色也引人入胜。“残杌”两句既写出了这里的偏僻，因此“禽鸣”、“猿啸”二句更突出了深山的特点。这两句诗原是化用鲍照《登庐山望石门》中的“鸡鸣清涧中，猿啸白云里”二句。但江淹这两句所展现的景色与鲍诗颇为不同。“鸡鸣清涧中”仍为人境，只是高山中才为猿猴所居的深山。因为这是庐山，而江淹所写的黄蘖山则不同，在当时，这里是人口稀少的深山。所以这两句诗虽有禽鸣、猿啸，却适见其僻静。正因为这黄蘖山是如此幽僻、险峻之处，就自然而然地给人以一种幻觉即这里是神仙出没之处。因为从西汉司马相如以来，人们总以为神仙是居“山泽间”的。因为想到神仙，作者又联想起了历史上秦皇、汉武这些曾热衷于求仙的帝王。作者说这些人“皆负雄豪威，弃剑为名山”，似乎这些威震一时的帝王尚且求仙，自己当然更有理由持这种观念了。
当然，秦皇、汉武求仙，到头来仍不免一死。求仙的无成，江淹当然不是不知道。他所以要求仙，和他早期的不得志有关。无可否认的是，在江淹的诗文中，有不少篇讲到过求仙，如《丹砂可学赋》、《赠炼丹法和殷长史》和《与交友论隐书》等。这是因为江淹在当时虽对仕途颇有企冀，但又备受压抑，颇知官场的险恶。特别是在建平王刘景素幕下，他深知景素的密谋，屡谏不听，未免产生悲观，而幻想在求仙中找寻解脱。这种情绪，早在贬官以前就有所表现，而谪居建安吴兴以后之作像《采石上菖蒲》等作，亦然如此。但当齐高帝萧道成掌握政权，并拔他为自己的参军，并委以重任之后，这种游仙之作就很少出现了。
江淹这首诗的风格，是继承了元嘉诗人颜延之、谢灵运“极貌写物”的传统，而且在写景时，又并有鲍照那种“不避险仄”的作风。所以风格显得还较古朴。但这种诗风发展到江淹已近尾声，到了齐代永明（483-493）年间，初开唐音的谢朓等人出来，诗风为之一变。于是就有了江淹“才尽”的故事。其实所谓“才尽”并非指他真的不能写作，而是他那种奇险古奥的诗体，已不再适合当时文坛的风气。当然，从江淹自身来说，入齐以后，他在仕途上日益显贵，不再呕心镂骨于文艺创作，也是一个重要原因。
此信以针锋相对地文辞回复了孙会宗作为朋友的善意的忠告，总述回信意旨，交待了作者遇祸的经过，描述了作者罢官的生活，对孙会宗的指责一一分辨，共有四层意思：首先表述作者与孙会宗不同的意见，概括回信大旨；然后表述作者归乡置田兴财闲居，自甘卑贱是作者最后的退路，指责孙会宗不理解他，不该对此加以嘲讽；接着描写作者乡居生活的自由快乐，当个百姓是另一种生活境界，指责孙会宗不该再拿一个卿士大夫的规矩来要求他；最后表述人各有志，祝愿孙会宗鹏程大展，讽刺了孙会宗汲汲于功名的势利而浅薄。全信笔调轻快，以叙立论，行文顿挫跌岩，前呼后应，曲折有致，锋芒毕露，锐气逼人。
这封信一共可以分为四段。
第一段先简述作者自己的身世，表明回信的原因，直抒胸臆，引经据典，显得情理交融，分析细致，既揭示了写信的缘由，又为作者进一步抒情达意奠定了基础。其中，开头的叙述谦逊而平淡，实际是正话反说，流露出不平之气。
第二段追叙作者身居要职的仕途生涯和被谤免职的不幸变故，表现出作者对统治者的激愤和讽刺，反映出朝廷的刻薄寡恩与不明是非，对照强烈，反语讥刺，心理描写灵活自如，决绝之意溢于言表。其中，描写写出自己内心活动时，表面指责自己，称颂皇上，实则抱怨朝廷无情，痛恨政治昏暗，完全是胸中不平的激愤之辞。
第三段描述作者自由自在、自得其乐的生活，针对孙会宗来信以为大臣废退应该谨慎行事，作者针锋相对地回答自己的行为符合天理人情。先以圣人有关礼节的规定来肯定自己的处事，驳斥人们的非议，说得理直气壮，令人信服。然后笔锋一转，绘声绘色地描绘出一幅田家乐的图画，不仅展现了作者醉酒歌舞的情景，也吟唱了大胆抨击朝政、令统治者无法容忍的歌词，可谓是对朝廷和世俗的公开挑战，充分表明作者我行我索的态度。
在讲完放肆玩乐之举后，作者比较卿了大夫与庶人的不同职责，认为主张不同，不必互相商量，强调自己已是庶人，孙会宗不当用卿大夫的规矩来责备自己。全段诗文融合，引用恰当，叙述形象，议论深刻，正话反说，反话正说，字里行间充满愤懑之情。最后一段借古地史事对孙会宗进行讽刺，用事自然，褒贬分明，讥刺巧妙，所言既是对孙会宗的挖苦和抨击，也是对朝廷的辛辣讽刺和对现实的有力批判，呼应开头，突出主旨，令人回味无穷。
全信具有鲜明的艺术特点。首先，文气疏荡，言词激越，具有强烈的抒情性。如回顾“总领从官”和“横被口语”的情况，倾吐满腹牢骚，这是叙事抒情；强调“人情所不能止者，圣人弗禁”，表达明显的嘲讽之意，这是议论抒情；反映歌舞醉酒、“淫荒无度”的田园自娱活动，抒写激愤行乐的情怀，这是描写抒情；谈到罢官以后的心中思念，“过已大矣，行已亏矣，长为农夫以没世矣”，抒发充满愤慨的感情，这更是直抒胸臆：各种抒情方式灵活运用，作者感情世界得以充分展现。其次，文章正面嘲弄与反面讥讽相结合，尤其是多用反语。如描写农家饮酒自劳、抚缶而歌、举袖上下、跺脚起舞的场面，以及提到“昆戎旧壤，子弟贪鄙”的情况。这些都是从正面驳斥孙会宗的劝诫，并讽刺他为习俗所移志。文中反语讥讽层见叠出。通过运用反语手法，显示作者个人的品德才干，表明作者以往的从政成绩，肯定作者的务农经商活动，抨击了社会丑恶现象。最后，作者善用对比方法来表情达意。如把得官的过程与获罪的景象对比，把兴隆旺盛时的情况与遭谗罢官后的处境对比，把“君子游道”与“小人全躯”对比，把“卿大夫之意”与“庶人之事”对比，还把贤人遗风与子弟贪鄙对比。这些鲜明的对比有力地揭露了官场的黑暗与朝政的腐败，也充分表现出作者与统治集团作无情的决裂。
“秋草生庭白露时，故园诸弟益相思”，值此白露时节，秋草已生满庭院，更加思念远在长安的亲人。“秋草”、“白露”更加形象的体现出秋天的清冷，为下文抒别情离思定下基调。南朝宋诗人谢惠连有《捣衣》诗，亦写秋景秋意，其中有云“白露滋园菊，秋风落庭槐”，韦诗与之如出一辙。所不同者，谢诗写思念丈夫，韦诗写思念诸弟而已。
唐代草书大家怀素与韦应物生活在同一时代，年岁也相仿。据说怀素在寺院附近种有一万多株芭蕉树，芭蕉长大后，他摘下芭蕉叶，铺在桌上，临帖挥毫。由于没日没夜地练，老芭蕉叶剥光了，小叶又舍不得摘。于是想了个办法，干脆带了笔墨站在芭蕉树前，对着鲜叶书写。就算太阳照得他如煎似熬，刺骨的北风冻得他手肤迸裂，他还是在所不顾。写完一处，再写另一处，从未间断。这就是有名的怀素芭蕉练字的故事，在当时就颇为流传。诗人戴叔伦比韦应物大五岁，晚年上表请为道士，他写过一首《赠鹤林上人》绝句：“日日涧边寻茯苓，岩扉常掩凤山青。归来挂衲高林下，自剪芭蕉写佛经。”可见在芭蕉叶上写字、抄经卷在当时已形成一种风气。据统计，“芭蕉”意象在《全唐诗》中出现过七十次，多与思人有关。诗人于百无聊赖中，乃于芭蕉叶上题诗。“独”字的运用更突现思弟心情之急，更见情深意长。
这首诗并无太高深的思想，也无特别突出的艺术技巧，只是以“芭蕉题诗”一句画龙点睛，表达出一种生活化的细微感触和情怀。其实，中国的古诗，都特别富有这种“琐屑”的韵致。这种“琐屑”，可以是感情上的，也可以是生活上的。感情往往因为平淡而愈显得真实，没有大喜大悲的做作，只是平心静气，节制简洁。不仅如此，在遣词布局上，韦诗也都以淡泊质朴见长。总之，用琐屑细致的描写手法来表达自己深沉的思想情感，没有磅礴的气势，却以微小的细节打动人；没有华丽的语言修饰，却在平淡中见真知，这是韦应物写诗的一大法宝。与之相比，韩愈喜欢剑走偏锋，用一些怪的字句，不免有逞奇之弊。白居易的诗虽然平易，但在布局上往往过于讲究回环曲折，与韦诗相比，又少了一份古朴温厚之气。
上片写在这里留宿的情况，“江头日暮痛饮”，直赋其事，可见词人心中的不快。“痛饮”是排遣愁绪的意思。“乍雪晴犹凛”，衬写其景。斜光照积雪，愈见其寒，由此雪后清寒正映出心境之寒。
“山驿凄凉，灯昏人独寝。”由日暮写到夜宿，“凄凉”二字写出了词人独宿的滋味“灯昏”更可以看出词人的凄凉、寂寞。古驿孤灯，是旅中孤栖的典型的氛围，不少诗人词客都曾这样描写。白居易写过：“邯郸驿里逢冬至，抱膝灯前影伴身”（《邯郸冬至夜思家》）；秦观写过：“……风紧驿亭深闭。梦破鼠窥灯”（《如梦令》）。此词亦复如此，而且此处“灯昏”与前面日暮雪白映照，更带有一层悲哀的色调。上片四句似信手掂来其实在层次、情景的组织上是很新巧的。
下片“鸳机新寄断锦，叹往事、不堪重省。”句中“鸳机”，是一种织具。此句引用了前秦苏蕙织锦为回文诗寄赠其夫窦滔的故事，意思是自己心爱的人新近又寄来了书信。“往事”，指当初欢快相聚的时候“不堪重省”者有二，一是山长水阔难以重聚，二是此时凄清想起往日的温暖，更是难耐。
后一种意味更切此时的“不堪”。虽则不堪，心偏向往，回避不了：“梦破南楼，绿云堆一枕。”这就是“往事”中的一事，当年同卧南楼，梦醒时见身边的她“绿云堆一枕”。“绿云”指的是女子秀美的鬓发，“堆”，形容头发蓬松、茂密之状这使人想起“鬓云欲度香腮雪”、“绿窗残梦迷”温庭筠《菩萨蛮》的句子，这是多么动人的情态啊！独宿的凄凉，使他想起往事；想起这件往事，可能加重了他的凄凉感，也可能使他的凄凉感在往事的玩味中消减，这就是人情的微妙处。“梦破”自是当年情事，读者也不妨将之与此时联系起来，当年的情事如果发生在此时，不同样是温馨一梦吗？今梦、昔梦连成一片，词家恍惚之笔，十分难得。赵翼云：放翁诗“结处必有兴会，有意味”（《瓯北诗话》），此词也是这样。
此词当写羁旅愁思，将艳情打并进去，正显出愁思的深切温厚，宋词中如此表现颇为常见。下片所思人事，当有所源。同年春末词人由夔州调往南郑时经过此地曾写有《蝶恋花·离小益作》：陌上箫声寒食近。雨过园林，花气浮芳润。千里斜阳钟欲螟，凭高望断南楼信。海角天涯行略尽。三十年间，无处无遗恨。天若有情终欲问，忍教霜点相思鬓？
“南楼信”云云亦是思念“南楼”女子，此女子是谁，现在已难以确考了有人认为此词是比兴之作，“‘梦破’是说的幻梦应该是指由陇右进军长安，收复失地这一梦想（的破灭，从表现看来，这里全写的男女之情，当日的欢爱，……可是现在恩情断了，‘鸳机新寄断锦’，更没有挽回的余地。陆游在这个境界里，感到无限的凄凉。”（《中国历代著名文学家评传》第三卷《陆游》，参见《词学研究论文集·陆游的词》）这样的解说恐怕并不是词的本意。如果说，陆游由于从军南郑的失意，加深了心头的抑郁，使得他“在这个境界里”，更“感到无限的凄凉”，羁愁中渗进了政治失意的意绪，那是可以理解的，也是很自然的；若字牵句合以求比兴，那就显得太机械了。至于以陆游此次是携眷同行为据，证实此词是“假托闺情写他自己政治心情”，那恐怕与文学创作规律及古人感情生活方式都相距甚远了。