Im Jahre 1465 ist dieser Standort als Krautmarkt urkundlich belegt. So trug der Brunnen, den Namen „eiserener Krautmarckbronnen“. Später hieß der zentrale Altstadtteilplatz Hafen- und Krautmarkt und der Brunnen wurde Hafenmarktbrunnen benannt.

Das Gebäude Hafenmarkt 9 in Esslingen am Neckar, auch als Gelbes Haus bezeichnet, ist im Kern ein Wohnturm aus dem 13. Jahrhundert. Dieser Teil des Gebäudes ist der letzte komplett erhaltene Geschlechterturm der Stadt. Das Bauwerk beherbergt mittlerweile das Stadtmuseum Esslingen.