Kort voor 1100 kreeg een jongere zoon uit het belangrijke adellijke huis van Petegem (Oudenaarde) van de graaf van Vlaanderen een flink stuk bos in leen, gelegen aan de westkant van het Oudenaards gebied. Het werd daar begrensd door de Fifta of Vichtebeek, en strekte zich ook uit op een deel van Otegem, Ingooigem, Tiegem, Kaster, Anzegem en Waregem.

Hij kwam zich vestigen in de nabijheid van de Vichtebeek, op de plaats die we nu als “Oud Kasteel” kennen. Hij richtte daar, zoals toen gebruikelijk, een woontoren op: een rechthoekig gebouw (5 m breed) op een kleine verhevenheid, de benedenverdieping en het gewelf in regelmatige blokken natuursteen, daarboven twee verdiepingen in hout. Helemaal bovenaan een platform met kantelen. Het grootste gedeelte van de toenmalige benedenverdieping bestaat nog en de (nu toegemetselde) deuropening is te zien rechts van de bestaande toegangstrap. Deze toegangsdeur bevond zich boven het grondniveau en men moest zowel van binnen als van buiten gebruik maken van een ladder. Wanneer gevaar dreigde dat een vijand de burcht zou binnendringen, kon men de ladder binnenhalen !

De bedoeling van deze woontoren was over een veilige schuilplaats te beschikken, van waaruit het gebied kon ontgonnen worden en verdedigd tegen eventuele belagers. Daarom liet Goswin, zoals de man heette, ook een brede gracht graven rond zijn “burchtje”, die met water bevoorraad werd vanuit de Pareelbeek. Over de gracht kwam een houten brug, waarvan het laatste stuk kon opgehaald worden. Dergelijke site noemt men een castrale mote.

Langzamerhand werden er buiten deze mote (opperhof) andere gebouwen opgetrokken die ook beschermd werden door een watergracht (de wal) en bereikbaar langs een tweede brug, eveneens met een ophaalbaar gedeelte, die toegang verleende tot het nederhof (neerhof). Zo groeide dit hoofdkwartier van de heerlijkheid aan de Vichtebeek uit tot een castraal domein, waarvan de heren zich intussen van der Vichte lieten noemen.

Te vermelden is dat de eerste Goswin ook al kort voor 1114 een kerkje liet bouwen voor zijn onderhorigen,het kerkje dat er nog voor een groot deel staat. Vroeger had hij al van de monniken van de St.-Theodoricusabdij van Reims, hun bos aan de andere kant van de Vichtebeek (in het Harelbeeks Hout) van hen overgenomen. Rond die tijd kwamen ook de kasselrijen tot stand en de Vichtebeek werd de grens tussen de kasselrij Kortrijk en deze van Oudenaarde. Later werd de Vichtebeek uiteindelijk omgedoopt in Kasselrijbeek.

Welke gebouwen bevonden er zich voor 1597 op het domein ?
Vooreerst een poortgebouw, geflankeerd door twee halfronde torentjes, waarvan het rechtse het oudste is (eerste helft 15de eeuw) en dat ook “eene steercke vanghenesse” herbergde. De torentjes waren boven vlak afgesloten en hadden kantelen. Boven de poort waren twee kamers, laat ons zeggen slaapkamers. Links van het poortgebouw twee paardestallen, één voor de rijpaarden en één voor de wagenpaarden.

Zuidelijk de schuur (voor 24 à 25.000 schoven) met daarnaast de andere stallingen. Deze stallen werden in 1859 afgebroken en er kwam een nieuw gebouw in de plaats.

Tussen stallingen en wal bevond zich ook een “bachuus” ofte ovenbuur.

Aan de noordkant stond het duifhuis of duiventoren, met een kamer onderaan. Westelijk daarvan stond de brouwerij, met eene caemere daerneffens ende eenen soldere boven; onder hetzelfde dak was ook een wagenkot. De neerhofgebouwen (woonhuis en schuur) die daar nu staan zijn van jongere datum.

Tenslotte was er nog “het huus up de mote”. Het besloeg amper één derde van het huidig gebouw. De voorgevel was gedeeltelijk in hout en gedeeltelijk in vakwerk (takken en leem). In 1597 werd er zuidelijk een vleugel aan toegevoegd, en werd de voorgevel in steen opgetrokken. Bijgevoegde schets geeft ongeveer het uitzicht weer dat het Oud Kasteel had in 1597.