A finals del s. XII, Llorac era de la família Oluja, la qual estava establerta a Vallfogona de Riucorb. L'any 1196, Gombau d'Oluja empenyorà les rendes de la vila i el castell de Llorac als Templers de Barberà.

A començaments del s. XIII, els Hospitalers establirien una casa a Llorac que dependria de la Comanda de Cervera. L'any 1250, la comanda de Cervera es trasllada a Alguaire passant Llorac a dependre d'ell. El 1254, la fundadora del monestir d'Alguaire demanda a Pere de Queralt per haver expoliat aquest els castells de Llorac, Biure i l'Ametlla. El s.XIV, el lloc pertanyia al montblanquí Frances Alenyà que el comprà a Pere el Cerimoniós. Serà a partir del s.XVI quan passarà a propietat dels Guimerà.

El castell es troba al costat del poble, avui dia convertit en una pallissa; domina tot el poble.