La pestilenza del 1502 aveva sostanzialmente risparmiato Sanremo e così le autorità comunali decidono la costruzione di un oratorio dedicato a San Sebastiano, protettore contro la peste.
Il progetto viene attuato nel 1508 all’interno del palazzo Pretorio, con accesso dalla loggia pubblica. Già a fine Cinquecento l’edificio sacro risulta però in cattive condizioni. Nel 1762 viene affidato alla confraternita di Nostra Signora dei Sette Dolori.
È il momento (1770 circa) di una decorazione dipinta di notevole qualità affidata a Maurizio Carrega (1737 – dopo il 1819), cui segue, tra 1855 e 1860, la sequenza di tele dipinte con i Sette Dolori della Vergine, eseguite dal pittore di Porto Maurizio Luigi Varese (1825-1889).
Appare quanto mai interessante anche la presenza di un palco orchestrale, legato alla collocazione di un organo. La decorazione corrente lungo le pareti ha particolare risalto nelle paraste che ritmano l’interno con i loro rilievi, che sostengono un lungo fregio. Molti particolari sono stati dorati, verosimilmente durante il XIX secolo.
Desta interesse anche la finta lapide del 1642 dipinta sull’ingresso, memoria dello scarso rispetto dei sanremesi per l’autorità costituita genovese. L’iscrizione ammonisce a non orinare o sporcare in modo peggiore sotto il portico di accesso al palazzo, sotto pena di forte multa. Inoltre si sarebbe dato seguito anche alle denunce anonime, potendo così creare discordia tra le famiglie sanremesi, cosa desiderata dai Genovesi, per poter meglio governare la città.