天正2年（1574年）、後北条氏（小田原北条氏）の家臣で富岡を領した柳下豊後守が亡き妻（法名「桂窓長昌大姉」）の菩提を弔うために長昌庵を創建し、鎌倉禅興寺（現在は明月院）から仙溪僧才禅師を招いて当山の開山となりました。文禄2年（1593年）に柳下豊後守は安房富津岬周辺から来襲した里見水軍と戦い、槍で重傷を負いながらも里見軍を打ち破りました。しかしながらその槍傷により同年9月17日に亡くなります。その時豊後守が離さなかった槍先は柳下家に現存しているそうです。里見軍は撤退する際に当時の長昌庵の本尊、阿弥陀如来立像を持ち去りましたが、里見軍と村民に不幸が続いたため、阿弥陀如来の祟りとして如来像を返してきたと言われています。お陰でこの阿弥陀如来立像は現在も長昌寺本堂に現存しています。時代は流れ、明治37年（1904年）には富岡中部にあった西源禅庵が廃寺となり長昌寺に統合し、戦後、芋観世音菩薩を観音堂にお迎えし現在に至っております。