神乐署坐落于广利门外西北，建于明永乐十八年（1402年）。又名神乐观，清乾隆八年（1743年）称神乐所，乾隆十九年改今名。

　　大门坐西朝东，围墙呈长方形，内建殿堂屋宇甚多。前殿5间，绿琉璃瓦歇山顶，两旁环绕转角廊庑各19间，后院有显佑殿7间，左右配殿各3间。

　　神乐署是管理祭天时演奏古乐的机关，是专门用来培训祭祀乐舞人员的机构。