集落にはかつて諏訪神社、熊野神社など数多くの神社がありましたが、明治41(1908)年に飯綱神社の境内に合祀され、現在の赤岩神社となりました。
石段を登って辿りつくのは、赤岩神社の拝殿。その裏にまた石段があり、赤岩神社本殿はその先にあります。