創建は鎌倉時代で、臨済宗を開いた栄西上人によるものと伝えられている。開港期にハリスが アメリカ領事館を置いたことで有名である。横浜湾内を一望することが出来る眺望の良さと渡舟 場に近い便利性から決めたといわれている。