Al rond 1300 hadden de graven van Holland een scheepstol op de plaats van het huidige Tolhuis. De IJselhavensluis naast het Tolhuis is in 1615 gebouwd als keersluis om het dichtslibben van de haven tegen te gaan. In 1954 werd de sluis aan de buitenzijde gesloten en kwam een einde aan de doorgaande scheepvaartroute.