这首诗作于江淹被贬为建安吴兴令期间。黄蘖山的地点据旧注说在“吴兴府城”（今浙江吴兴）附近，这不足为信。因为诗中称“闽云连越边”，是在今福建和浙江交界之地，而吴兴则在江浙二省交界处，古人称之为“吴地”，与诗的地望不符。按：《宋书·谢方明传》记谢方明在东晋末孙恩、卢循起义中，从浙东取道“黄蘖峤”经今江西一带，逃到建康。可见“黄蘖峤”在今闽浙赣三省交界处，这地方离江淹被贬的建安吴兴（今福建浦城）不远。此诗当是被贬在建安吴兴后作。此诗写作时间，当比《渡泉峤道出诸山之顶》、《迁阳亭》诸作稍晚。这时他的心情已较迁谪之初稍为平静，所以不像那些诗有明显的怨愤之情而倾向于游仙诗的情调。
江淹的诗风在南朝比较特殊，他的诗一般较具古气，和谢朓、沈约为代表的永明诗人不同。但较之刘宋初年的谢灵运、颜延之又显得略见平易。但他有一些写景诗则用了一些古奥的辞语，似与谢灵运、鲍照等人相近。这首《游黄蘖山》亦属此类。诗中“残杌千代木，廧崒万古烟”二句就很古奥费解。“残杌”当指枝叶已尽的枯树干，“廧崒”据余冠英先生说：“疑‘廧’作‘崷’，‘崷崒’，高峻貌”（《汉魏六朝诗选》）。这两句是借此形容黄蘖山是一个人迹罕到的险僻幽静之地。从全诗看来，作者是到了一个高峻的深山之中，为那里的景色所打动而兴起了求仙的想法。在诗中，作者以形象的语言写出了山势的险峻：“金峰各亏日，铜石共临天”，这“金”、“铜”都是形容南方闽、赣诸省山区的红黄色土壤，“金峰亏日”、“铜石临天”无非形容山石的高峻。“阳岫”、“阴溪”则写面临日光的山峰和背阴的溪谷。山峰在日光下五色缤纷，而溪谷中又有泉水喷流，这一景色也引人入胜。“残杌”两句既写出了这里的偏僻，因此“禽鸣”、“猿啸”二句更突出了深山的特点。这两句诗原是化用鲍照《登庐山望石门》中的“鸡鸣清涧中，猿啸白云里”二句。但江淹这两句所展现的景色与鲍诗颇为不同。“鸡鸣清涧中”仍为人境，只是高山中才为猿猴所居的深山。因为这是庐山，而江淹所写的黄蘖山则不同，在当时，这里是人口稀少的深山。所以这两句诗虽有禽鸣、猿啸，却适见其僻静。正因为这黄蘖山是如此幽僻、险峻之处，就自然而然地给人以一种幻觉即这里是神仙出没之处。因为从西汉司马相如以来，人们总以为神仙是居“山泽间”的。因为想到神仙，作者又联想起了历史上秦皇、汉武这些曾热衷于求仙的帝王。作者说这些人“皆负雄豪威，弃剑为名山”，似乎这些威震一时的帝王尚且求仙，自己当然更有理由持这种观念了。
当然，秦皇、汉武求仙，到头来仍不免一死。求仙的无成，江淹当然不是不知道。他所以要求仙，和他早期的不得志有关。无可否认的是，在江淹的诗文中，有不少篇讲到过求仙，如《丹砂可学赋》、《赠炼丹法和殷长史》和《与交友论隐书》等。这是因为江淹在当时虽对仕途颇有企冀，但又备受压抑，颇知官场的险恶。特别是在建平王刘景素幕下，他深知景素的密谋，屡谏不听，未免产生悲观，而幻想在求仙中找寻解脱。这种情绪，早在贬官以前就有所表现，而谪居建安吴兴以后之作像《采石上菖蒲》等作，亦然如此。但当齐高帝萧道成掌握政权，并拔他为自己的参军，并委以重任之后，这种游仙之作就很少出现了。
江淹这首诗的风格，是继承了元嘉诗人颜延之、谢灵运“极貌写物”的传统，而且在写景时，又并有鲍照那种“不避险仄”的作风。所以风格显得还较古朴。但这种诗风发展到江淹已近尾声，到了齐代永明（483-493）年间，初开唐音的谢朓等人出来，诗风为之一变。于是就有了江淹“才尽”的故事。其实所谓“才尽”并非指他真的不能写作，而是他那种奇险古奥的诗体，已不再适合当时文坛的风气。当然，从江淹自身来说，入齐以后，他在仕途上日益显贵，不再呕心镂骨于文艺创作，也是一个重要原因。
此诗一、二两句，先写一位充满游侠豪气的长安少年夜登戍楼观察“太白”（金星）的星象，表现了他渴望建立边功、跃跃欲试的壮志豪情。起句很有气势。然而，底上突然笔锋一转，顺着长安少年的思绪，三、四句紧接着出现了月照陇山的远景：凄清的月夜，荒凉的边塞，在这里服役的“陇上行人”正在用呜咽的笛声寄托自己的愁思。如果说，长安少年头脑里装的是幻想；那么，陇上行人亲自经受的便是现实：两者的差别非常悬殊。写到这里，作者的笔锋又一转：由吹笛的陇上行人，引出了听笛的关西老将。承转也颇顿挫有力。这位关西老将“身经大小百余战”，曾建立过累累军功，这正是长安少年所追求的目标。然而老将立功之后并没有好的结果。部下的偏裨副将，有的已成了万户侯，而他却沉沦边塞。关西老将闻笛驻马而不禁泪流，这当中包含了无限的辛酸苦辣。这四句，是全诗的重点，写得悲怆郁愤。诗中虽未明言关西老将会有如此悲剧的遭遇的原因，但最后引用了苏武的典故，是颇含深意的。苏武出使匈奴被留，在北海边上持节牧羊十九年，以致符节上的旄繐都落尽了，如此尽忠于朝廷，报效于国家，回来以后，也不过只做了个典属国那样的小官。表面看来，这似乎是安慰关西老将的话，但实际上，引苏武与关西老将类比，恰恰说明了关西老将的遭遇不是偶然的、个别的。功大赏小，功小赏大，朝廷不公，古来如此。这就深化了诗的主题，赋予了它更广泛的社会意义。
在诗中，作者写到“长安少年”、“陇上行人”、“关西老将”这三类人物，写到戍楼看星、月夜吹笛、驻马流泪这三种边塞生活场景。凄清的月夜，荒凉的边塞，呜咽的笛声，悲怆的将士，构成了一种寂寞悲凉的意境，反映了唐代边塞生活的艰苦。在十句诗中，作者这三种类型的人物，三个不同的生活场景，巧妙地集中在一起，自然而然地形成了鲜明的对照。这就很容易使人联想到：今日的长安少年，安知不是明日的陇上行人，后日的关西老将？而今日的关西老将，又安知不是昨日的陇上行人，前日的长安少年？诗的主旨是发人深省的。