Zamek Dybowski został wzniesiony na lewym brzegu Wisły przez Władysława Jagiełłę jako siedziba polskich starostów i strategiczny punkt militarny do kontroli ruchu na Wiśle i granicy polsko-krzyżackiej. Jego budowę rozpoczęto prawdopodobnie ok. 1423-1425 r., ale już w początkowym okresie był kilkakrotnie przebudowywany.
W latach 1998-2000 na zlecenie miasta na Zamku Dybowskim zostały przeprowadzone kompleksowe prace archologiczne przez zespół pod kierunkiem Lidii Grzeszkiewicz-Kotlewskiej. Budowla została oczyszczona z porastających ją chaszczy i zbędnych nawarstwień ziemnych. Odkrywki fundamentów pozwoliły poznać kolejne fazy budowy i przebudowy zamku. Wiadomo, że nad zachowanymi murami zamek miał jeszcze jedną, trzecią kondygnację, co potwierdzają ryciny z XVII wieku. Na każdym z trzech pięter znajdowały się trzy sale, bardzo obszerne - szerokości 8 m i długości 9, 18 i 9 m. Podobnie były podzielone piwnice, które były otynkowane i miały drewnianą podłogę, a więc prawdopodobnie wykorzystywano je jako pomieszczenia gospodarcze - magazynowe i kuchenne.
Warownia była nie tylko okazała, ale i komfortowo wyposażona. Jeszcze pod koniec lat pięćdziesiątych na jednej ze ścian części mieszkalnej znajdowały się malowidła, głównie ornamenty roślinne, po których niestety obecnie nie ma już śladu. W wykopaliskach odnaleziono fragmenty średniowiecznych szklanych pucharów, gotyckie kafle piecowe z wyobrażeniami figuralnymi oraz wczesnorenesansowe kafle glazurowane z przełomu XVI i XVII w., w tym fragment z podobizną króla w koronie. Obok krakowskiego - jest to jedyny tak piękny i różnorodny zbiór kafli piecowych w Polsce. Wydobyto też dużą ilość ceramiki naczyniowej pochodzącej z zastawy stołowej - fragmenty kubków i misek.
Około 500 m od zamku w latach 2000-2002 odkryto ślady pierwotnej lokalizacji Nieszawy - XV-wiecznego miasta, które konkurowało z Toruniem w handlu na Wiśle. W 1431 roku napadli je i zniszczyli torunianie wsparci przez komtura krzyżackiego. Ostatecznie pod ich presją Kazimierz Jagiellończyk przeniósł Nieszawę na obecne miejsce, 35 km od Torunia w górę Wisły.
W 1431 r. Zamek Dybowski przejęli Krzyżacy, którzy rozpoczęli jego przebudowę. W tym czasie zapewne powstał dziedziniec, mury i wieża z bramą. Kolejna rozbudowa zamku nastąpiła w latach 1454-62, kiedy warownia powróciła w polskie ręce. Wówczas zostały zapewne podwyższone mury i przebudowana wieża bramna. W 1454 r. Kazimierz Jagiellończyk nadał na Zamku Dybowskim słynne przywileje szlacheckie, które stały się podstawą demokracji szlacheckiej i polskiego parlamentaryzmu.
Zamek Dybowski uległ znacznemu zniszczeniu podczas najazdu szwedzkiego w XVII w. Obok zamku została usytuowana reduta, której ostrzał z Torunia spowodował zniszczenie części mieszkalnej, wskutek czego część stropów górnych kondygnacji zapadła się do piwnic. Pomimo to w 1813 r. zamek stał się punktem skutecznej obrony Torunia podczas oblężenia miasta przez wojska rosyjskie i pruskie. W 1848 roku został włączony w obręb rozbudowującej się Twierdzy Toruń i otoczony wałem kleszczowym. Jeszcze do początków XX w. był częściowo użytkowany. Dzisiaj pozostaje w ruinie, stanowiąc atrakcyjny punkt turystyczny na szlaku rowerowym do Włocławka. Co roku we wrześniu na Zamku Dybowskim odbywa się festyn archeologiczny.