冈仁波齐在藏语中意为“神灵之山”，在梵文中意为“湿婆的天堂”（湿婆为印度教主神），苯教更是发源于此。
冈仁波齐在藏语中意为“神灵之山”，在梵文中意为“湿婆的天堂”（湿婆为印度教主神），苯教更是发源于此。从印度创世史诗《罗摩衍那》以及藏族史籍《冈底斯山海志》、《往世书》等著述中的记载推测，人们对于冈仁波齐神山的崇拜可上溯至公元前1000年左右。据苯教经典描述：一条从冈仁波齐而下的河，注入不可征服的湖泊——玛旁雍湖。有四条大河由此发源，流向东、南、西、北四方。流向东方的是当却藏布马泉河（下游为布拉马普特拉河），绿宝石丰富，饮此水的人们如朗驹一般强壮；流向南方的是马甲藏布孔雀河（下游为恒河），银沙丰富，饮此水的人们如孔雀一般可爱；流向西方的是朗钦藏布象泉河（下游为苏特累季河），金矿丰富，饮此水的人们壮如大象；流向北方的是森格藏布狮泉河（下游为印度河），钻石矿藏丰富，饮此水的人们勇似雄狮。每年有络绎不绝的来自印度、不丹、尼泊尔以及我国各大藏族聚居区的朝圣队伍，使得这里的神圣意味绵延了几千年。
据说佛教中最著名的须弥山也就是指它。据《佛学小辞典》：须弥，山名，一小世界之中心也。前佛教时代的象雄苯教时期，岗仁波齐被称为“九重（万）字山”，相传有苯教的360位神灵居住在此。苯教祖师敦巴辛绕从天而降，此山为降落之处。在公元前5～6世纪兴起的耆那教中，岗仁波齐被称作“阿什塔婆达”，即最高之山，是耆那教创始人瑞斯哈巴那刹获得解脱的地方。
印度人称这座山为Kailash，也认为这里是世界的中心。印度教里三位主神中法力最大、地位最高的湿婆，就住在这里。而印度的印度河、恒河的上游都在此发源，所以，现在在冈仁波齐见到大批的印度朝圣者就不奇怪了。
几个世纪以来，岗仁波齐一直是朝圣者和探险家心目中的神往之地，但是至今还没有人能够登上这座神山，或者说至今还没有人胆敢触犯这座世界的中心。旅行者把目光投向这块圣洁之地不过是最近几年才有的事，不过人数依然不多，这或许是一件值得庆幸的事情。
冈仁波齐周围共有5座寺庙。年日寺为转山第一站，以后依次为止拉浦寺、松楚寺（也称幻变寺）、江扎寺和赛龙寺，其中后两座寺位于内线。这五座寺庙都有不少脍炙人口的传说故事，并留存有丰富的雕刻、塑像、壁画等文物，但如今都程度不同地毁坏了。