Castello Nero è la fortezza principale dei Guardiani della Notte. È situato lungo la Barriera, tra Porta della Regina a ovest e Scudo di Quercia a est, vicino al centro della Barriera e alla fine della Strada del Re. Castello Nero non è un vero e proprio castello e non ha mura difensive a est, ovest e sud, ma solo la Barriera a nord. È composto da alcune torri di pietra e da fortini di tronchi. Al di sotto delle torri e dei fortini vi sono dei condotti sotterranei detti “passaggi dei vermi” che collegano tutti gli edifici: vengono usati raramente in estate, ma durante l'inverno sono l'unico modo per passare da un edificio all'altro. La biblioteca di Castello Nero si trova lungo uno di questi tunnel. Nella biblioteca ci sono registri e libri antichi che non si trovano neanche alla Cittadella A Castello Nero c'è un piccolo tempio, ma non un parco degli dei.
Tra le torri principali si possono nominare Torre del Lord Comandante, ospita le stanze del Lord Comandante dei Guardiani della Notte. La Torre del Re è rotonda, alta cento piedi con merlature in cima e guarda sulla porta in fondo alle scale di legno che porta alla Barriera. La porta della torre è in legno di quercia chiodato. Nonostante sia riservata agli ospiti d'onore e chiamata così in onore di re, nessun sovrano ha visitato Castello Nero nell'ultimo secolo. La Torre della Lancia è la più alta, anche se è solo un terzo della Barriera. È sottile e cadente. La Torre delle Guardie è la più forte, situata vicino alla Strada del Re e alla Barriera. Controlla la scala di legno. Ultima torre è forse la più importante L'Uccelliera è il luogo in cui vivono i corvi messaggeri di Castello Nero. Di conseguenza gli alloggi del maestro sono situati in un tozzo fortino al di sotto della stessa.
Inoltre tra gli edifici abitativi ad uso della confraternita in nero troviamo. La Sala Comune è un fortino foderato di legno. L'armeria è il luogo in cui vengono conservati l'equipaggiamento e le armi per la pratica. I Baraccamenti Flint è il luogo in cui hanno le celle la maggior parte dei confratelli.
Cartello nero è posto a difesa di uno dei tre passaggi che attraversano a barriera, la Porta controlla l'apertura sul lungo, contorto e stretto tunnel che passa attraverso la Barriera. Tre porte di ferro bloccano il passaggio interno: ogni porta è chiusa a chiave e ha una feritoia. La porta esterna del tunnel è in solido legno di quercia e spesso più di 20 centimetri. Inoltre per accedere alla sommità del Muro per vegliare sul regno degli uomini i confratelli hanno a disposizione una grande scala a chiocciola che sale da Castello Nero fino alla cima della Barriera. È composta di scalini in legno, fissati da enormi travi ghiacciate incastrate nella Barriera stessa e di un argano che viene utilizzato per portare rifornimenti e uomini fino alla sommità della Barriera: è costituito da una gabbia di ferro per permettere l'ascesa e la discesa lungo la parete della Barriera. Può trasportare fino a dieci uomini o una quantità di rifornimenti equivalente. Si trova vicino al pozzo di Castello Nero.