Dal IV secolo a.C. è probabile che ci fosse a Cividale un insediamento di Celti, chiamati Galli dai Romani. Una testimonianza preromana si trova sulla riva destra del fiume Natisone, dove è presente un monumento unico nel suo genere, che è appunto l'Ipogeo celtico.

Non distante dal Ponte del Diavolo, questo ambiente particolarmente suggestivo consiste in una serie di vani sotterranei, scavati nella roccia con tecnica primordiale, che si sviluppano in diramazioni a forma di "kappa". Tramite una ripida scala, si giunge alla camera principale, dalla quale dipartono tre corridoi. Nelle pareti si trovano nicchie e grezzi bancali, ma il maggior mistero è rappresentato da tre rozzi mascheroni intagliati nella pietra che contribuiscono ad aumentare l'atmosfera di mistero che grava sul luogo.

La funzione originaria dell'ambiente è ancora incerta. Alcuni la identificano come camera funeraria celtica, ma molti studiosi la collocano al periodo romano o longobardo, con la funzione di cercere. Rimangono dei dubbi sulla sua reale destinazione, proprio per la tecnica di scavo primordiale e per i rozzi ornamenti. La presenza celtica preromana nel cividalese è comunque ritenuta reale anche per i cauti indizi che vengono forniti dai toponimi prediali con suffisso in icco o acco, di derivazione celtica.