这首诗描绘了一位别驾（古代官职）的隐逸生活和他对文化收藏的热爱。首句“别驾常怀物外心”表达了他超脱世俗的心境，对自然和书籍的向往。诗人赞赏主人花费黄金购置山林，不仅为了避世，还为了收藏图书，体现了他的雅趣。

“后堂不肯著歌舞”反映了主人对于繁华娱乐的摒弃，注重精神文化的修养。“高阁唯思贮古今”进一步强调了他对历史典籍的珍视，寓含着对知识的追求和传承。接下来，诗人描述了新建的亭台和柳阴中的读书环境，展现了主人对宁静与学问的营造。

最后一句“野夫昨日闲乘兴，著屐寻诗到柳阴”，以“野夫”自比，表达了诗人对这种远离尘嚣、亲近自然、沉浸于诗书之乐的生活方式的欣赏。整首诗赞美了主人的高尚情操和对文化生活的独特品味，同时也传达出对宁静淡泊生活的向往。