番所庭園のあるこの地は、眺望絶佳の地であることから江戸時代には、紀州藩の海上への見張り番所が置かれました。