Kirken er opført i romansk stil med tykke mure og rundbuer over vinduer og kor. Kirkens kor og den østlige del af skibet er sandsynligvist opført i det 12. århundrede af indbyggerne i sognet.

Kirkens skib blev i det 16. århundrede udvidet til at være næsten dobbelt så stort. Senere, i det 18. århundrede, er våbenhuset og tårnet blevet bygget til.

Kirken bæger præg af at have været ejet af Østergaard, sognets altdominerende gods. Dette kan bl.a. ses på mindetavlen i kirkens nordvestlige hjørne, som er ophængt til minde over en af de tidligere fruer på Østergaard, der i 1763 døde som 29 årig, og mindetavlen vidner derfor om en familietragedie.

Døbefonden er af romansk stil, og har muligvis stammet fra kirkens ældste tid.

Fjellerup kirke er placeret tæt ved det populære badeområde "Fjellerup Strand" og fungerer derfor også i sommerhalvåret som kirke for egnes turister.