这首诗描绘了一位诗人对隐居生活的深刻感悟与对过往友情的怀念。首联“柴扉冷处见遗民，手揽江蓠忆楚臣”中，“柴扉冷处”暗示了诗人所处环境的清冷与孤独，“见遗民”则表达了对古代贤者的追思。“手揽江蓠忆楚臣”一句，通过“江蓠”这一意象，不仅展现了自然之美，也暗含了对楚国忠臣屈原的缅怀。

颔联“白社那邀采药客，青门旧识种瓜人”进一步深化了主题。白社象征着隐逸之地，而“那邀采药客”则表明诗人虽身处山林，却并非完全与世隔绝，他仍然保持着与志同道合之人的联系。青门，古代长安城的东门，此处借指繁华之地，诗人以“旧识种瓜人”自喻，表达了对过往友情的珍视。

颈联“一春屡费登山屐，万事堪悲漉酒巾”则体现了诗人对时光流逝、世事无常的感慨。春天里，他频繁地登山，但面对“万事堪悲”的现实，不禁让人心生哀愁。这里的“漉酒巾”可能象征着诗人试图在饮酒中寻求慰藉，但最终仍感悲哀。

尾联“岂是攒眉逋宿约，只防人世怪予真”则表达了诗人对于自己行为的自我反思与对社会评价的警惕。他并非刻意违背约定，而是担心自己的真实想法和行为在世人眼中显得与众不同，甚至被误解或非议。

整体而言，这首诗通过细腻的笔触，展现了诗人对隐逸生活的向往、对过往友情的怀念以及对现实世界的深刻思考，情感丰富，寓意深远。