Het Weeshuis is in 1560 gesticht, mogelijk gemaakt door de nalatenschap van vrouwe Elisabeth, gravin van Culemborg. Zij stierf zonder kinderen en liet na haar dood in 1555 een groot deel van haar vermogen na aan de armen van de stad. Daar werd onder meer dit Weeshuis mee bekostigd. Het werd het eerste nieuwgebouwde Weeshuis in Nederland. Tot die tijd werden wezen in bestaande panden ondergebracht zoals kloosters of woonhuizen.
In 1952 verliet de laatste wees het huis en het Weeshuis werd tijdelijk een school. De weesvader, de heer Hoekstra, woonde aanvankelijk nog in het gebouw. Hij was een toevlucht voor scholieren die uit de les waren gestuurd. Al gauw werd het gebouw te klein voor de school. Er kwamen twee barakken in de tuin, tussen de appelbomen.
Na deze periode heeft het Weeshuis verschillende functies gehad. Van buiten ziet het gebouw er bijna nog net zo uit als in 1560, maar van binnen is het regelmatig aangepast aan de eisen van de tijd.
