相传文成公主初到拉萨的时候，依据八十种博唐数理及五行图推算，指出拉萨地形优胜、风水吉利，东为白龙、南为青虎、西为朱雀、北为玄武，玄武就是神龟。藏王松赞干布亲自到拉萨北郊视看，果然发现娘热山沟有一巨 视看，果然发现娘热山沟有一巨石如伏龟，高出地面有四、五层楼的样子。于是在这座龟形巨石上修筑一座宫堡，名叫帕邦喀，意为巨石堡。

　　据说当时宫堡高九层，四周用铁链固定，石墙缝隙中浇铸铁水，如铁桶般的坚固。吐蕃名臣吞米·桑布扎从南亚学习回来，松赞干布安置他在这里创制藏文，并且拜他为规范师，亲自跟他学习文字。现在石头上刻有藏文六字真言，传说是吞米·桑布扎亲笔所书。

　　公元9世纪中期朗达玛灭佛后，九层宫堡被毁。公元11世纪时，噶当派著名僧人旁多哇和扎多哇在废墟上修建了两层楼的寺庙，静修佛法，叫帕邦喀寺。寺庙虽小，但因其古老和佛学高深而闻名全藏。历辈达赖喇嘛每逢受戒和获得格西学位后，照例都要来帕奔喀朝佛，举行庆典。现在这座寺庙已经修复，伫立于巨石上，风格独特，香火旺盛。