Færgevej, Færgebakken og andre navne i kvarteret med "færge" har fået navn efter færgefarten over Silkeborg Langsø, der neden for bakken havde et af sine landingssteder. Færgefarten ophørte efter, at der i 1854 kom bro og dæmning over Langsøen. Også til Kærsgård og gården Aldershvile, der lå ved den nuværende Sølystvej 51, gik der færge.

På færgebakken har der også været en vindmølle, der supplerede vandmøllen ved det nuværende Nørretorv. (Se Mølledamsgade). En del af bakken blev gravet væk og brugt til dæmningen over Langsøen. Senere er gruset også udnyttet til cementfabrikation.

Færgebakken og færgefarten over Langsøen er malende beskrevet af H.C. Andersen i kapitlet "På andejagten" i hans roman "At være eller ikke være" fra 1857:

Hr. Skjødt og Niels nåede snart færgehuset; båden, de skulle over i, lå trukket helt op imellem sivene, for der gik ordentlige bølger; vinden løftede det piskede skum i vejret, så at det fløj dem i ansigtet. De gik til husdøren, trak i snoren ved klinken og trådte ind i den lave stue ... [Læs videre i H.C. Andersens fortælling fra Silkeborg].