秘密寺始建于唐代,现仅存前院、中院、后院、西庵、中庵等处。前院有天王殿,东西两厢及正殿5间,南北藏经楼等;中院有配殿及正殿5间;后院部分殿堂残坏;中庵包括三圣庵、观音洞、金佛楼三处。观音洞三层分奉弥勒、三大士、关羽等石雕像、摩崖造像18尊。金佛楼三层8间,内奉石雕贴金接引佛一尊。
寺前山坡有墓塔3座:祖师塔、建玄大师砖墓塔以及建于明万历年间的普同塔。这3座砖墓塔为后人研究五台山的历史提供了重要的资料。