西元1792年，一名叫李应祥的文士自中国来台，起初在阿公店(现冈山镇)居住，3个月後登上火山大仙岩，於西元1796年为寻晚年隐修之所，而攀山涉水，由於李应祥善於勘舆，发现在枕头山南腰「半壁吊灯火」传为麒麟穴，於是披荆斩棘，自大仙寺内迎回观音圣像坐镇於此，隐遁修行，即为今天碧云寺的开山起源。


碧云寺真正兴建庙宇，是当时附近的8位儒生，因仰慕李应祥学养品德，与一书僮前往拜师苦读，西元1806年前往福州赶考，连书僮9人皆应试登科，9人感佩观音灵佑，於是合资大银千两，购买当时他们师徒所开垦的田地，捐作寺产，并兴建寺庙，称为碧云寺，这座寺又称为「新岩」，大仙寺则为「旧岩」。

西元1844年，因为兵燹肆虐而焚毁，东山乡民於是迎请「观音圣像」至东山，建简单寺堂安奉，信徒於是发起募捐创建「东山碧轩寺」，因此碧云寺与东山轩寺其实同源，百馀年来维持良好关系。

碧云寺在同治8年至西元1903年，曾陆续修建数次，1904年又因大地震毁损一次，但寺方因故无人管理没有修建，经过信徒争取，於1949年重建，蒋介石先生曾亲临献香，并赐匾额「凌宵宝殿」。