Jelsum is een radiaal terpdorp dat enkele eeuwen voor het begin van de jaartelling is ontstaan op een kwelderwal. Vanaf Leeuwarden gerekend is dit het eerste van een reeks van de terpdorpen die op de oostelijke oever is ontstaan. Het dorp was richting Dokkumer Ee ontsloten door de Jelsumervaart of Haskermeer zuidelijk van het dorp. Aan de noordzijde was de Cornjumervaart net zover van het dorp verwijderd. Jelsum lag slechts een paar honderd meter van de zeedijk van de Middelzee.
Aan het einde van de 19de eeuw is de terp aan de noordzijde afgegraven, het terpgedeelte waar Harinxmastate op s