「大正以前は真言宗の草庵であったのを、天正の初め(1580年代)開山一嶺俊栄大和尚の来錫によって曹洞宗に改宗され、現在に及ぶこと27世430年の歴史を有する古刹である。嘉永7年(1854)5月に締結された下田条約により、玉泉寺はアメリカ人の休息所と埋葬所に指定された。」(※)
「安政3年(1856)、サンジヤシントン号に乗ったタウンゼント・ハリスは下田に入港し、玉泉寺を領事館とした。ハリスの使命は、日本との通商条約の締結にあり、交渉は江戸幕府の引きのばし策もあったが、粘り強いハリスの交渉により、安政5年(1858)に日米修好通商条約が締結された。」(※)
ハリスが領事館当時愛用の遺品や関連資料、古文書が展示されている。
本堂前には、ハリスが体調をくずした時、牛乳を献上したことを記念する牛乳の碑がある。
本堂脇には、黒船(ペリー艦隊)乗員の墓5基がたっている。
本堂奥には、露艦ディアナ号乗員の墓3基がたっている。