Die Angehörigen des hiesigen Zweigs nannten sich daraufhin „von Dubé“. Ihr Vorfahre war Matouš (der Sohn von Beneš von Dubé), der in den Jahren 1218 - 1227 erwähnt wird. Erstmals betitelte sich 1283 Ondřej mit der Bezeichnung von Dubé, der noch eine andere Burg, Burg Kavčí Hora bei Leštna (heute Líšno) in Besitz hielt. Einer der Nachkommen gleichen Namens erbaute um 1350 auf Burg Dubé die St. Kliment-Kapelle. Bei der Aufteilung der Güter von Ondřej unter seinen drei Söhnen erhielt Dubá im Jahre 1367 dessen Sohn Vaněk. Nach diesem hielt die Burg Václav (manchmal auch unter dem Namen Vaněk erwähnt), der in den Schriften von König Václav (Wenzel) IV. in Bezug auf der Herrenvereinigung als Anhänger der Krone erwähnt wird. Mit seinen Knappen beteiligte er sich aktiv am Heimkrieg von 1339 und gehörte zu den berüchtigten Raubrittern. Gefangen genommene und beraubte Gegner wurden in Dubé ins Verließ gesteckt. Der Kleinkrieg mit den Vertretern der Herrenvereinigung dauerte in diesem Landstrich bis 1403 an, als Václav IV. aus der Gefangenschaft nach Böhmen zurückkehrte. Der bisherige Gesinnungsgenosse von Vaněk, Jan Zůl von Ostředek, der die Räuberei fortsetzte, bemächtigte sich damals der Burg Dubé und beherrschte von hier und seinem benachbarten Hrádek aus die ganze Gegend. Seinem Treiben wurde erst 1404 durch den Eingriff der Landesbereitschaft ein Ende gesetzt, die auch Burg Dubá eroberte. Nach dem Tode von Vaněk von Dubé (er wird 1416 das letzte Mal erwähnt) wechselten sich die Burgbesitzer in schneller Folge ab. Mitte des 15. Jh. war Kuneš Rozkoš von Dubé im Besitz der Burg samt Burgort Odranec, der im hiesigen Landstrich auch noch Burg Kostelec nad Sázavou (heute Zbořený Kostelec) sein Eigen nannte. Nach seinem Tode fiel Dubá der Burg Komorní Hrádek zu. Es verfiel offensichtlich kurze Zeit danach, vielleicht in einem weiteren Heimkrieg, der im Jahre 1467 von der Grünberger Allianz gegen König Jiří von Poděbrady vom Zaun gebrochen wurde. Schon 1525 wird Dubá als Ruine vermerkt.
Von der eigentlichen Burg blieben nur Trümmer übrig, aber auch diese lassen die einstige Lage und die Dispositionen der Burg ahnen. Der Zutritt zur Burg war offensichtlich nur auf der Anhöhe von Süden oder von Westen über die Vorburg kommend möglich; an den anderen Flanken hätte dies das schroffe Terrain unmöglich gemacht. Die rechteckige Vorburg war von einem Tor verschlossen, an dem eine walzenförmige schützende Bastei stand. Die eigentliche Burg war an ihrer Südflanke von einem Wall mit Burggraben geschützt, an seiner Nord- und Nordwestseite durch einen mächtigen, in den Fels gehauenen Graben. Rechts vom Eingangstor, von dem nur ein hoher Schutthaufen übrig geblieben ist, stand der Palas von rechteckigem Grundriss. Ungefähr in der Mitte des engen Vorhofs waren lange Zeit Mauern erhalten geblieben - die Reste der St. Kliment-Burgkapelle. Die sonstigen Teile der Burganlage füllten weitere Palas-Objekte aus (heute meist in Trümmern). Von der Oberburg liefen zwei mächtige, durch quadratische Türme verstärkte Mauern zur Uferebene hinunter. Die erste Mauer, die bisher deutlich zu erkennen ist, lief längs eines aus dem Fels gehauenen Grabens senkrecht zur Höhenlinie des Hanges hinunter; die hintere Mauer verlief zuerst zum Bach, der den südöstlichen Hang von der Burgstätte abgrenzt, dann machte sie einen Knick und verlief ebenfalls zur Uferebene, wo beide Mauern durch eine dritte, am Ufer der Sazava entlanglaufenden Mauer verbunden wurden. In dem eingeengten, durch Mauern geschützten Raum befand sich eine Ansiedlung, das „Städtchen“ Odranec. Den Zugang zu ihm schützte ein mächtiger viereckiger Turm in der südwestlichen Mauer am Fuße des Burghügels. Die Ringmauer ist heute teilweise eingestürzt, das Tor steht aber noch.