Rajah Charles Brooke telah mengasaskan Kubu Kapit (Fort Kapit) pada tahun 1880 sebagai bandar garrison, ia bertujuan untuk menyekat masyarakat Iban dari berpindah ke seberang sungai dan seterusnya menyerang penempatan perkampungan Orang Ulu. Kemudian kubu tersebut dinamai semula sebagai Kubu Sylvia atau (Fort Sylvia), sempena mengambil nama isteri Rajah Vyner Brooke, tetapi bandar tersebut mengekalkan namanya sebagai Kapit. Awalnya, bandar Kapit diselesaikan oleh kumpulan etnik kecil Cina Hoklo (Hokkien) pada tahun 1880, tambahan suku kaum Cina Ka telah berimigrasi kebandar tersebut pada tahun 1906, dan Cina Fuzhou pada tahun 1919. Masyarakat Cina mula berkecimpung dalam aktiviti pertanian berteraskan getah, lada hitam dan melaksanakan aktiviti perdagangan lembaran getah dan barangan hasil hutan. Dalam tahun 1941, ketika waktuPenjajahan Jepun, Kapit hanya mempunyai dua deretan bangunan teres yang menempatkan 37 buah rumah kedai. Bandar Kapit pernah dihancurkan kesemuanya ketika peperangan akibat dari ledakan bom berantai yang dijatuhkan ke atas bandar tersebut. namun pada hari ini, Kabit merupakan semua bandar yang sibuk tetapi keadaannya sangat padat dengan beberapa jalan yang sejajar dengan sungai.
Meskipun untuk pergi ke bandar tersebut hanya boleh dicapai dengan perahu ataupun bot-bot kecil, (perjalanan mengambil masa lebih kurang 2 jam dari Sibu dengan menggunakan bot-bot ekspres) atau dengan menggunakan pesawat ringan, itu adalah suatu kehidupan komersil dan terdapatnya pusat sosial di tengah-tengah Sungai Rajang ke rumah panjang masyarakat dan kem kayu. Ini adalah dasar yang sangat baik untuk menerokai rumah-rumah panjang berdekatan atau untuk menetapkan perjalanan ke Hulu Rajang dan Sungai Balleh.
Kubu Sylvia
Untuk menghalang perpindahan lanjut orang Iban ke hilir lembah sungai Rajang, yang telah menimbulkan pertelingkahan dengan Orang Ulu, Raja Charles Brooke membina Kubu Baleh di Nanga Balleh, perjumpaan sungai Rejang dan Baleh antara Kanowit dan Song pada akhir 1874. Raja Charles Brooke hampir lemas di sini pada tahun 1877 apabila botnya terbalik dalam arus deras. Dia meninggalkan kubu ini pada tahun 1878, dan menggantikannya dengan kubu baru yang terletak lebih di hilir sungai pada tahun 1880. Kubu Kapit yang baru dibina sepenuhnya daripada balak pokok ‘belian’ dengan dinding yang tebal bagi menahan serangan.
Pada 16 November 1924, satu upacara keamanan antara orang Iban, Kayan, Kenyah dan Kajang diadakan di sini dengan kehadiran Raja Charles Brooke. Pada tahun 1925, Kubu Kapit dinamakan semula sebagai Kubu Sylvia sempena Rani Sylvia Brooke (Maharani). Ketika 1960-an, kubu ini menempatkan Pegawai Daerah dan Bangunan Mahkamah Daerah, dan kemudiannya Pejabat Residen selepas pembentukan Bahagian Kapit pada tahun 1973.
Pada May 1997, kubu ini diistiharkan sebagai tapak sejarah dan kini dikendalikan oleh Yayasan Tun Jugah sebagai sebuah muzium. Ia memaparkan himpunan seni etnik dan kerja tangan dan dokumen berkait dengan sejarah Kapit, tembikar warisan, meriam gangsa, plak tembaga dan gambar pemimpin masyarakat lalu.