Foi nesta casa que pertenceu à Coroa portuguesa desde o séc. XIV que nasceu o Infante D. Henrique, o Navegador.
O edifício tem a sua origem no séc. XIV quando o rei D. Afonso IV resolveu construir na zona ribeirinha do porto a Alfândega, para inspeccionar o comércio que chegada à cidade através do rio Douro, e a Casa da Moeda. Esta função foi mantida ao longo do tempo até ao séx. XIX, embora a casa tenha sofrido várias obras e alterações.
Segundo alguns historiadores, foi nesta casa que nasceu o Infante D. Henrique, o Navegador, explicando-se assim o seu nome. Foi elevada a monumento nacional em 1924. Já no séc. XX, durante obras de conservação e restauro, foram descobertos no local vestígios de um palácio da época romana.
Actualmente, serve de instalação a um museu onde se pode ficar a conhecer a história da Casa do Infante e de um Arquivo Histórico.