齐云山古称白岳，坐落于安徽省休宁县城西边。其境内峰峦四起、峭壁耸立、四时变幻、绮丽多姿，以“三十六奇峰”和“七十二怪岩”著称，岩岩皆景，洞、涧、池和泉遍布其间。
齐云山全山有宫、殿、院、坛和阁等108处，道观27处，道房12家，与江西龙虎山、湖北武当山还有四川鹤鸣山并称为四大道教圣地。山中的道教绘画、摩崖石刻和碑刻数以千计，几乎峰峰有题词、洞洞有刻铭。因此后来被清代乾隆皇帝赞誉为“天下无双胜境，江南第一名山”。
齐云山的道教文化历史十分悠久，道教活动开始于唐代，至今已有1200多年的历史，道教香火传播到了华东及东南亚各国，影响十分深远。
齐云山的道教属于张道陵所创建的正一道，至于齐云山的开山鼻祖是谁，一直有两种说法。
第一种说法，说唐代天谷子道人的门徒余氏六三娘来到齐云山传道，并且在齐云山生养了文生、耀生、志生和立生4个儿子。后来这4个儿子都进入了道教，从而形成了齐云山最早的四大房，开启了齐云山的道教文化。
还有另一种说法，说齐云山道教的开山鼻祖是道士龚栖霞。在唐代，有一个道士叫龚栖霞云游至此，隐居在山中的石门岩，在此处苦行修炼50载终成正果，在83岁时羽化成仙。后人把他修炼所住的石门岩洞，取名为“栖真岩”。
这两种说法谁真谁假已经无从考证，但关于齐云山的开山鼻祖有文字依据可查的是在南宋一个名叫余道元的道士第一个在齐云山建筑了道观，从而开启了齐云山的道教文化。
在1225年至1227年的南宋，道士余道元进入齐云山修炼，并于齐云岩创建佑圣真武祠，也就是后来的太素宫，其内供奉着真武大帝，又名玄帝。
太素宫，原名佑圣真武祠，后来明世宗赐额为“玄天太素宫”。它坐落在齐云山的齐云岩，是齐云山的主要的道教宫观。
太素宫坐南朝北，里主要供奉的是真武大帝。它的原主要建筑有“玄天金阙”石坊、宫门、前殿、正殿、后殿、客堂、斋堂、道舍及左右配房等，但是后来都因天灾人祸被毁了，里面供奉的真武大帝神像也不例外，都是后来重建的。
传说，原太虚宫中所供奉的真武大帝神像是由百鸟衔泥塑立的。真武大帝，又称玄帝，传说他原来是净乐国的王子，姓李，名乞小。他长得眉清目秀，在15岁的时候，抛弃了江山去武当山出家做了道士。他在武当山朝夕讲经说法，潜心修炼，道成的时候，已经2500岁。
后来紫虚元君教授了他无极大道，称他为“北方真武大帝”，让他镇定北方，掌管阴间一切善恶，普济众生。
有一天，真武大帝出山，一来是想察访世间善恶，二来想找个好山头登基坐殿，享受一下人间烟火。于是，真武大帝云游四海，遍访名山，驾云到齐云山。他俯瞰全山，只见群峰峻秀，怪岩纷呈，山泉飞洒，云烟缭绕，横江两岸古木苍郁，茅屋村舍点缀其中。
他不禁叹道：“呵，好一个人间仙境！”
喜出望外的真武大帝便降临于齐云山巅，他遨游洞天福地，越过桃花涧，来到了真仙洞府。却看到天门掩蔽，无路可通。真武大帝游山急切，于是运足神力，一脚蹬开了天门。
只听“轰”的一声巨响，石穿洞开，豁然开朗。见到了另一番景色：巨岩如围，岩洞藏幽，山泉飞洒，点点滴滴，发出击玉般的声响，串串山泉构成珍珠帘屏。
真武大帝穿门而入，沿路美景尽收眼底，喜不自胜。过了天门，真武大帝不知不觉地来到月华街。这里的山势更加优美。齐云岩酷似一把金交椅耸立在街中心，背后是玉屏峰，左右钟鼓两峰护列。
前面是卓立挺拔的香炉峰，五股山泉飞注于齐云岩下，左有青龙盘踞，右有白虎蹲立，前有黄山“三十六峰”环绕其外，构成了一个天然的宝座。
真武大帝见到这番美景喜不胜收，留恋难舍。他心想：“我真武大帝在武当山苦修2000余年，而今修道已成，何必再孤守武当？不妨就此建座行宫，占它香火，我在武当修行，夜回齐云显灵，来去自如，有何不可？但我这无形的灵神，若在此山定鼎还须有个偶像寄托，才好招来八方香火。”
真武大帝正在冥想，忽见一朵祥云飘来，到真武大帝面前化作了一名仙子，供揖参拜真武大帝道：“仙长驾临此山，乃草木有幸，妙乐天尊揣知仙长心事，使我前来劝君。” 真武大帝谢恩又将方才所思所想告诉了仙女。
仙女应命告别了真武大帝，回去之后立即传召全山百鸟，即日兴工。霎时间百鸟云集，羽翼蔽日。众鸟众志成城，不几日，就塑起了一尊真武大帝神像，威严夺目。
光阴迅速，到了南宋宝庆年间。云游道士余道元自黟北来齐云山，夜里梦见一个道长披发跣足，对他说：“吾居齐云岩，已候你多时。”
余道元梦醒以后就去齐云岩寻找，果然寻见一尊泥像，与梦中的一模一样，他又惊又喜。于是号召居住在山里的居士募捐装饰这尊泥像，还建造了“佑圣真武祠”，烧起香火，日夜供奉。
第二年，余道元请内相程铋题“云岩”两字刻于石上，这两字为齐云山最早的摩崖石刻。
后来四围乡村的百姓遇到有蝗灾、旱涝，或者想要祈福、求嗣都会来真武大帝神像这里，人群络绎不绝，并且传说有求必应、神威江南。
道士们后来也纷纷驻守山上，在岩洞内和道房供上真武大帝像，真武大帝的香火越来越旺盛。与此同时，朝廷也开始下令在齐云山建筑道教宫观。
据不完全统计，在宋代期间，兴建的宫、观、道院、祠、殿及神仙洞府达到百余处，宫阙十分壮丽。