Junto ao rio, o Edificio da Alfândega foi o primeiro a ser terminado durante a construção da vila e, junto aos antiguos edíficios das Sociedades da Pesca, divide a cidade en duas metades simétricas, rematando o conjunto com doiss torreoes que servian para vigiar a vila.
A cobrança de impostos sobre transacções com Espanha, evitando o contrabando, foi a razão primeira da edificação de Vila Real de Santo António. A Casa da Alfândega tinha o portal encimado por um selo real, mas o símbolo foi apeado desse lugar após o 5 de Outubro de 1910.
Utilizado pela Guarda Fiscal, o edifício deixou de ser utilizado na década de 90, na sequência do Mercado Único Europeu, em 1992.
