Slenteren door de smalle, onverharde straten van Bagamoyo voert je terug naar het midden van de 19e eeuw, toen de stad een van de belangrijkste nederzettingen langs de Oost-Afrikaanse kust was en het eindpunt van de handelskaravaanroute die Lake Tanganyika met de zee verbindt. Slaven, ivoor, zout en kopra werden hier gelost voordat ze naar het eiland Zanzibar en elders werden verscheept, en vele Europese ontdekkingsreizigers, waaronder Richard Burton, Henry Morton Stanley en David Livingstone, begonnen en beëindigden hun reizen hier. In 1868 richtten Franse missionarissen Freedom Village op in Bagamoyo als een schuilplaats voor vrijgekochten slaven, en voor de rest van de eeuw diende de stad als een tussenstation voor zendelingen die van het eiland Zanzibar naar het binnenland reizen.