慶文久3年（1863年）8月18日に政変で、世にいう七卿落となる。三条実美卿、三条西季知卿、東久世通禧卿、壬生基修卿、錦小路頼徳卿、四条隆謌卿、沢宣嘉卿、等、七卿は京都妙法院をあとに西下長州に向う。
　翌元治元年3月26日六卿は、馬関砲台を巡視発程の途上錦小路は病を発し29日彦島巡視の予定を延べ、同日八つ時、五卿方、招魂場ご覧あり帰路鋳造場へ立ち寄られた。
錦小路頼徳卿は馬関にて静養中遂に客舎にて逝く追悼何ぞ堪えんや。
この事蹟を顕彰するため、昭和56年（1981年）5月、社殿登り口石段右手、保存樹シイノキの下に史跡碑が建立された。