Restaurant Karel V is gevestigd in één van de oudste panden aan de Goese haven.
Het pand met zijn laat-Gothische gevel bevindt zich aan de Turfkade, de westzijde van de oude stadshaven.
In 1554 werd het grootste deel van de panden aan de Turfkade verwoest door een stadsbrand. Alleen de kelders bleven gespaard.
In tegenstelling tot de andere panden aan de Turfkade, werd het pand op nummer 11 vrijwel direct na de brand herbouwd.
Het pand is inwendig gedateerd door sleutelstukken met het jaartal 1555.