Te midden van de zachte Haspenhouwse glooiingen ligt tussen de velden met tarwe en suikerbieten een kleine pittoreske kapel, oorspronkelijk toegewijd aan Sint-Gillis of Aegidius. De huidige kapel werd in 1727 gebouwd, maar reeds in 1280 bestond er een castrale* kapel die oorspronkelijk Quinte Kapellen werd genoemd, verwijzend naar de toenmalige vereniging van vijf kerken van Attenhoven, Rumsdorp, Waasmont, Sint-Gertudis Landen en Racour. De kapel is opgetrokken als een eenbeukig bak- en hardstenen volume van drie traveeën of balken. De toren en de sacristie dateren van een latere periode gezien de bouwnaad die duidelijk zichtbaar is. De kapel is sober classicistisch van stijl en bevat 4 rondboogvensters met eenvoudige glas in lood ramen. Opmerkelijk is dat deze niet symmetrisch zijn aangebracht tussen de noordelijke en zuidelijke beukwand. * Castrale kapel: kapel met een verdedigende functie als toevluchtsoord en vooral te vinden op het platteland.

Het portiekaltaar bevat in het boogfront een Mariamonogram. Het altaarstuk bevat een schilderij op doek van de Vlaamse School uit de eerste helft van de 18de eeuw met voorstelling van Onze -Lieve-Vrouw Onbevlekte Ontvangenis. De biechtstoel is eenvoudig opgezet met in de bekroning een medaillon met Godsoog in stralenkrans. Het kleine vijfstemmige orgel is omstreeks 1900 gebouwd door Weduwe Geurts & Cie uit Antwerpen. De oorspronkelijke orgel- en windmechaniek zijn vrijwel intact gebleven, al vertonen de orgelpijpen wel schade. In de toren van de Sint-Gilliskapel hangen twee klokken. Een eerste dateert van 1834 en is gegoten door Vanden Gheyn. Deze klok heeft een diameter van 76 cm en brengt een B-toon voort. De tweede klok meet 50 cm en is gegoten door de Luikenaar Pierre Levache. Hierdoor is dit voor Vlaanderen een zeldzaam exemplaar. Deze kleine klok produceert een A-toon. De oorspronkelijke kruisweg werd in 1999 gestolen. De huidige kruisweg in gipskalk werd in bruikleen gegeven aan de bevolking van Rumsdorp door de paters Minderbroeders uit Sint-Truiden.