Villa Ersilia è situata nella zona collinare di Ponza porto. Si trova a soli 10 minuti dallo sbarco dei traghetti e dalla famosa piazzetta ricca di bar e ristoranti nonché punto di partenza dei collegamenti per le altre isole e per la spiaggia di frontone.
Allo sbarco dei traghetti si ha la possibilità di prendere un taxi o noleggiare motorini che potrebbero alleggerire il percorso dal peso dei bagagli e dal caldo estivo.

La struttura, a causa della posizione rilevata, non è adatta a persone con difficoltà nella deambulazione.