第一联，秋天万物衰落，草木凋敝，本来就是个愁苦的季节。而诗人独处他乡，秋风吹过海面带来的寒意勾起了诗人的思乡之情。吹我乡思飞”中的“吹”字不仅吹来了秋风，也吹起了诗人的忧愁。
第二联，诗人放目远去，却只看到了层叠的山峦，没有家乡的影子，流水不停的向远去流去，不知何时才能归来，就像诗人不知道何时能归家一样。“连山去无际，流水何时归。”借用“连山”和“流水”两个极具内涵的意象，把诗人的愁苦具体化。
第三联，诗人抬眼望去，只有灰色的浮云，寒冷的月光，诗人的目光由远及近，月光更是令作者想起了远方的亲人。“月晖”既形容了月光的皎洁，又表达了季节的寒冷，还烘托出诗人飘泊他乡的孤寂凄凉之情。目之所到，体之所感，只有深深的愁思。
第四联，芳草不再柔艳，寒冷的霜露催着快置寒衣。
第五联，诗人在梦中梦到银河落下，长梦过后天上星以稀少，诗人只能含着悲伤思念故乡，没有人来为他擦拭眼泪。
第六联，诗人直抒胸臆，白天倒还罢了，到了秋夜傍晚时候，思乡的情绪难免一阵阵地在心头泛起波澜，何况是昏暗寒冷，极其萧瑟的深秋。借对秋天景色的描写抒发了羁旅之愁，点染衬托出诗人的浓重乡情，寓情于景，情景交融。
李贺当时住在长安崇义里，曾写了首《崇义里滞雨》，表达了壮志成空，愁恨不已之心情，加上穷困孤独，自己的心境也像是阴暗的里巷和淅沥不断的秋雨一样。这很能反映他担任奉礼郎时的处境和心境，与《始为奉礼忆昌谷山居》所要抒发和表达的情感相近。只不过后者更强调家山的美好和对故乡的怀念。诗人将昔日在家山品茶饮酒的悠闲自在景与眼前退衙回来闭门独坐的孤独以及“鹤病悔游秦”的病痛相互比照，旨在强调身在仕途无法实现理想抱负的喟叹。失落加上乡愁，更增添几分愁苦，也更加深了诗人对故乡的怀念。
诗题中提到的“昌谷山居”即是诗人的故乡所在地。昌谷，位于今洛阳西南宜阳县境内。今日的宜阳，显得偏僻和贫穷，但在隋唐时期，此地则是江淮粮赋陆路和漕运的重要中转站。其中李贺居家的三乡驿（今名三乡乡），是当时从洛阳通往长安大道上的一座重要驿站。为唐代诸帝东巡必经之地，在此建有连昌宫、兰昌宫等行宫，武则天、唐玄宗都曾在此驻跸，其中的连昌宫更因元稹的《连昌宫词》而闻名千古。
此诗的前半首，扣住“始为奉礼”行笔，总写居官羁旅无聊之情状。“扫断”、“雅回”两句，叙述官职卑微，门庭冷落；“长枪”、“小树”两句，写江米煮熟，食馔简单，除枣花外，室无珍玩。这四句，全无半点寒酸气却道尽窘迫。即是小官，又全无半点迎逢心思，自是门可罗雀；回到家里自己动手关门，没有仆人书童；特意说出煮的是江米，或许是在暗示除此之外别无其它；至于小树枣花，那不过是平凡窄小的院落里一棵普通的树罢了。如此这般，一个异地为官生活勉强郁郁不得志的年轻人形象跃然纸上。“向壁”、“当帘”两句，写闲对如意、角巾，言外寄托“归欤”之意。
诗的后半首，转而写题上“忆昌谷山居”之意。忆家，故作家书，以付黄犬；忆亲人，因妻病而追悔至京求仕。“土甑封茶叶，山杯锁竹根”，可见主人不在；“不知船上月，谁棹满溪云”，月夜又有谁在船上摇荡着满溪的云影？用反诘句收结，意想飞驰，巧妙表现出“忆”的风韵，“末二尤得忆家神理”（《协律钩玄》卷一引董伯音语）。
李贺很少用律体写诗，《始为奉礼忆昌谷山居》却用五言长律写成，诗韵用上平声十一真、十二文、十三元通押，很有特色。