Svaneholms borg uppfördes sannolikt vid mitten av 1300-talet av Magnus Eriksson. Flera borgar i landet byggdes eller förstärktes vid denna tid. Orsaken var maktkampen mellan kungen och rådsaristokratin med Bo Jonsson Grip i spetsen, som ledde till att Magnus Eriksson och hans son Håkon, kung i Norge, avsattes i februari 1364 och Albrekt av Mecklenburg utropades till kung. Tyska legotrupper började då inta landets borgar. Den 30 mars 1364 inleddes belägringen av Svaneholm och samma år intogs borgen och besattes av en tysk garnison. Man vet inte när borgen förstördes, men den omtalas sista gången 1366.
Svaneholm var ett av de starkaste fästena i södra Sverige p g a sitt strategiska läge, lämpligt som reträttplats och med goda flyktmöjligheter. Borgen, som i folkmun kallades Garpeslott, garp betyder tysk, bestod av ett runt kärntorn med omgivande byggnader på en rektangulär borgplatå.

Rummet i tornets bottenvåning är 7 m i diameter. Inne i ruinen kan man se avsatser, på vilka golvbjälkarna har vilat. Runt borgplatån finns en vallgrav och en yttre borgvall. Dessa har sannolikt varit kompletterade med en timmerpalissad. Enligt traditionen har borgen, som tidigare låg på en ö, förbundits med fastlandet med en 340 m lång bro. Då Kilarpssjön sänktes 1865 förvandlades ön till en halvö.