A formação de um fóssil é um processo muito demorado, que pode levar milhões de anos.

Nem todos os animais acabam fossilizados, o que significa que estamos ainda muito longe de conhecermos todas as espécies antigas do planeta. Isto é praticamente impossível, porque a fossilização depende muito do acaso.

A condição que favorece o processo de fossilização é o impedimento da decomposição, quando o ser vivo é enterrado, congelado ou fica sob a lama, por exemplo. Se isto ocorre, pode ser que daí surja um fóssil para nos contar uma história - porém ainda existem outros fatores que impedirão o fóssil de chegar até nós de forma satisfatória. É que, mesmo fossilizado, ele pode se dissolver, através da erosão, ou ser quimicamente alterado ou distorcido, através de mudanças bruscas de temperatura e pressão. Assim, cada fóssil encontrado é um achado para a paleontologia.

A maioria dos fósseis é constituída pelas partes resistentes dos animais e plantas, como ossos, conchas ou, o que é mais comum de se encontrar, dentes, devido à grande proteção que o esmalte lhes confere. Porém, outros indícios dos antigos habitantes do planeta podem servir para os conhecermos: os icnofósseis, ou seja, vestígios fossilizados deixados pelos animais, como pegadas, caminhos, escavações e excrementos (coprólitos).

É raríssimo encontrar um fóssil completo de vertebrado. Já os insetos, por exemplo, são muito encontrados fossilizados no âmbar. Esta substância, assim como o gelo e o betume, ajuda a conservar as partes moles do tecido.