源平合戦のとき、乗り出し岩から海を渡り、真っ先に馬で乗り上げたところで、先陣の地を記念するため寺を建立した。今では真言宗西明院に先陣庵が残っている。

竜海（藤戸海峡）出現の観音を祀ってある盛綱再建の真言宗の寺。盛綱木像や源平合戦図、県指定重要文化財の石造五重塔婆（鎌倉中期）、藤戸寺西側の三叉路に立つ源平合戦八百年記念碑などに昔をしのぶことができる。

奈良時代、紀州熊野の「役小角」（えんのおずぬ）が伊豆に流され、その弟子義学らが熊野の御神体を奉じて、瀬戸内海を漂流し、今の熊野神社のあるところに鎮座したのが始まりである。ここに鎮座された熊野権現を中心に、平安・鎌倉以降この地が大いに栄えた。明治の神仏分離令により五流尊瀧院は修験道の本庁として全国に知られている。

　五流尊瀧院の境内には、頼仁親王の御庵室や護摩堂、児島高徳の誕生碑があり、毎年旧暦1月23日夜から24日朝にかけて「お日侍祭り」が催され、全国から三伏が集まってくる。また、熊野神社近くには後鳥羽上皇供養の石造宝塔（国指定重要文化財）、康正3年(1457)に造られた梵鐘、文政3年(1820)に再建された三重塔がある。

熊野神社本殿は、6棟の社殿に向かって右側に小さい社が１列に並んで南面している。第一殿、第三殿〜第六殿は県指定重要文化財で、岡山藩主池田光政が正保4年(1647)再建したものである。中央の第二殿は国指定重要文化財で春日造り、明応元年(1492)1の再建。この辺りは深い杉木立に囲まれていて、絶えず野鳥の声が聞こえ、深山の趣きがある。