Członkowie tej gałęzi byli następnie nazywani „z Dubé” od ich nowej osady. Ich przodkiem był Matouš (syn Benesa z Dubé), o którym wzmianki pochodzą z lat 1218 - 1227. Po raz pierwszy o Dubé wspomniał w 1283 r. Ondřej, który posiadał drugi zamek, Kavčí Hora koło Leštna (obecnie Líšno). Jeden z jego potomków o tym samym imieniu zbudował kaplicę św. Klemensa na zamku Dubá około 1350 roku. Kiedy majątek Ondřeja został podzielony między jego trzech synów, w 1367 r. Dubá przypadła Vaněkowi. Po nim zamek był w posiadaniu jego syna Václava (czasami nazywanego również Vaněk), który jest wymieniany w zapisach króla Wacława IV z jednością dworską jako zwolennik króla. Wraz ze swoimi zbrojnymi brał czynny udział w wojnie domowej w 1339 r. i był jednym ze znanych porywaczy. Schwytani i obrabowani przeciwnicy zostali następnie uwięzieni w Dubie. Niewielka wojna z członkami szlachty trwała w okolicy do 1403 r., kiedy Wacław IV powrócił do Czech z niewoli. Jan Zůl z Ostředka, dotychczasowy zwolennik Váňka, który kontynuował grabieże, przejął zamek Dubá i stamtąd, a także z sąsiedniego Hrádka, kontrolował cały obszar. Kres jego działalności położyła dopiero w 1404 r. kasa ziemska, która zdobyła również zamek Dubá. Po śmierci Vaňka z Dubé (ostatnio wzmiankowanego w 1416 r.) właściciele tutejszych dóbr zmieniali się coraz częściej. W połowie XV wieku zamek i jego podzamcze Odranec były w posiadaniu Kuneša Rozkoša z Dubé, który był również właścicielem zamku Kostelec nad Sázavou (obecnie Zbořený Kostelec) w regionie. Po jego śmierci zamek Dubá należał do Komorní Hrádek. Prawdopodobnie wkrótce potem popadł w ruinę, być może w wyniku nowej wojny domowej, którą w 1467 r. wywołała jedność zelenohorska przeciwko królowi Jerzemu z Podiebradów. Już w 1525 roku zamek Dubá jest wymieniany jako opuszczony.
Zachowały się tylko ruiny samego zamku, ale nawet one dają wyobrażenie o dawnej wielkości i układzie kompleksu zamkowego. Dostęp do zamku był prawdopodobnie możliwy tylko przez wysoki teren na drodze z południa lub zachodu przez dziedziniec; z pozostałych stron stromy teren uniemożliwiał to. Prostokątny dziedziniec otoczony był bramą z ochronnym cylindrycznym bastionem. Same budynki zamkowe były ufortyfikowane od strony południowej wałem i fosą, a od strony północnej i północno-zachodniej masywną fosą wykutą w skale. Na prawo od bramy wjazdowej, z której pozostała jedynie wysoka wieżyczka, stał pałac zamkowy na planie prostokąta. Pośrodku wąskiego dziedzińca przez długi czas zachowały się mury będące pozostałością po zamkowej kaplicy św. Klemensa. Pozostałą część terenu zamkowego wypełniały inne zabudowania pałacowe (obecnie w większości w ruinie). Z zamku górnego biegły w dół do równiny rzecznej dwa masywne mury, wzmocnione kwadratowymi wieżami. Pierwszy mur, który jest nadal wyraźnie widoczny, biegł wzdłuż wykutego rowu prostopadłego do konturów zbocza; tylny mur najpierw zwrócony był w stronę strumienia określającego południowo-wschodnie zbocze grodu, a następnie urywał się i również zbiegał do równiny rzecznej, gdzie oba mury były połączone trzecim, równoległym do rzeki Sázava. Na niewielkim obszarze zabezpieczonym murami znajdowała się osada podzamkowa, „miasto” Odranec. Dostępu do niego strzegła masywna wieża pryzmatyczna z bramą w południowo-zachodnim murze u podnóża wzgórza zamkowego. Mury obwodowe są obecnie częściowo zniszczone, ale brama nadal stoi.