地方志记载，4700年前，华夏始祖轩辕黄帝就在此山修道炼丹，因为丹成之时天空出现非红非紫的祥云，轩辕黄帝遂命名为缙云，缙云山因此而得名。《大明正统道藏》“历世真仙体道通鉴卷”中也记载：“轩辕黄帝往，炼石于缙云堂，于地炼丹时，有非红非紫之云现，是曰缙云， 因名缙云山”。

其中，缙云山的绍龙观即为轩辕黄帝的炼丹修行之地，道观坐西朝东，占地七十余亩，总建筑面积5000平方米，有三清殿、玉皇殿、灵官殿、元辰殿、慈航殿、财神殿共三重主殿六大殿堂，属区级文物保护单位。

谈及缙云山与道家的渊源，可追溯自轩辕黄帝炼丹，此后则有道教创史人张道陵天师、陈抟老祖、张三丰祖师在此养生山修行，创造了以“道家宴”、“道家茶”、“道家酒”、“道家法”为特色的“缙云四绝”。而今，名为“李一”(曾名为“李军”)的道长与缙云山一起被媒体关注着。

查阅李一道长与缙云山的渊源，大致的脉络可以呈现如下：1998年，年轻的李一带领弟子们上山重建位于缙云半山的绍龙观;1999年，绍龙观道家绝技团正式成立，李一为道家绝技团创始人; 2005年，李一道长主持“缙云山论剑”，喊出了“天下功夫出少林，中华绝技归缙云”的口号;2008年，由李一道长联合国内多位儒学、佛学大师成立的缙云山国学院被中国文化书院正式授牌，成为中国文化书院重庆研究基地。