这首诗描绘了一幅隐逸与自然交融的画面。首联“高士休官处，孤僧羁旅初”中，“高士”与“孤僧”形成对比，前者是已摆脱尘世束缚的隐士，后者则是仍在旅途中的孤独僧人，两者虽境遇不同，但都追求着内心的宁静与自由。“江山逢上巳，风雨望匡庐”则将时间与地点具体化，上巳节的江边，风雨中的庐山，营造出一种诗意的氛围，暗示着诗人对自然美景的向往和对超脱世俗生活的追求。

接着，“炊黍折残荻，长吟寄老渔”两句，通过日常生活场景的描写，进一步展现诗人的生活状态和情感世界。炊煮黍米，折取残荻，这些细节既体现了生活的简朴，也蕴含了诗人对自然之美的欣赏和对渔夫生活的向往。而“长吟寄老渔”一句，则直接表达了诗人渴望过一种与世无争、悠然自得的生活态度。

最后，“此时山际寺，谁拟赋闲居”以问句收尾，既是对当前情境的感慨，也是对未来生活的期待。山际寺，既是现实中的存在，也是诗人理想中的归宿。这一问，不仅表达了对当下阻风状态的无奈，更寄托了对闲适生活的向往和对精神家园的追寻。

整体而言，这首诗通过对自然景色的描绘和人物情感的细腻刻画，展现了诗人对自由、宁静生活的向往，以及在面对现实困境时的超然态度。