Aquestes són terres habitades des d’antic; així ho demostra l’arquitectura megalítica com del dolmen de Llanera o les diverses agrupacions de tombes excavades a la roca. Precisament, al peu de la torre encara se’n conserva una. Són enterraments que daten entre els segles VI i XI. És possible que el dipòsit que hi ha a la roca, al seu costat, sigui també d’aquesta època o, fins i tot, anterior a la torre.

La notícia escrita més antiga que tenim del castell de Peracamps és del 1042, força posterior al seu origen. Això no és un fet estrany, ja que el que ens ha arribat són textos com testaments o documents de compravenda, però rarament són escrits que parlin de les obres, i menys del seu inici. Comptat i debatut, quan es parla d’un castell és perquè ja hi era i tenia prou entitat com per deixar-ne rastre escrit.

El testament de 1042 explica que Bonfill, senyor de Peracamps, deixava el castell a la seva esposa Amaltruda, i quan ella traspassés havia d’anar a un dels seus fills. El 1067 Amaltruda el va donar al seu fill Arnau, però en un altre testament, ja de 1072, consta que encara era la senyora de Peracamps.

Cap al 1084 Arnau va cedir la meitat del castell a l’església de Peracamps i la canònica de la Seu d’Urgell. I per acabar-ho de complicar el 1089 Amaltruda va fer de nou testament i confirmà que Peracamps fos per a Arnau, el seu fill. Aquest, en el seu testament de 1091 explica que els seus pares havien comprat l’alou de Peracamps i la meitat de les seves esglésies a Gunedell i Ramon Sanç (un “alou” és el domini absolut i lliure d’un be immoble, sense dependre d’un senyor superior).

Força temps després, el 1447, castell i baronia de Peracamps van ser comprats per la confraria de la Mare de Déu dels Colls de Sant Llorenç de Morunys a Ramon Altarriba, senyor d’Oliana.