Justamente na sua corrida de estreia, no circuito de Reims, na França, D’Orey alcançou seu melhor resultado na Fórmula 1, com um décimo lugar. Nas outras duas provas, Fritz abandonou.

Em 1960, foi contratado pela Ferrari para disputar provas de longa duração e participou das 12 Horas de Sebring. No mesmo ano, teve um grave acidente nos treinos para as 24 Horas de Le Mans e sofreu traumatismo craniano. Após longa recuperação, encerrou a carreira de piloto.

Voltou ao Brasil, onde iniciou carreira na construção civil, no Rio de Janeiro, e seguiu morando na Cidade Maravilhosa por muitos anos até se aposentar e mudar para Portugal. D’Orey morreu em casa ao lado de quatro dos cinco filhos.