Fiscalização de contrato - Substituição do fiscal - vigência da portaria

Olá amigos, bom dia.
Venho há alguns anos atuando como fiscal de contrato e, acredito, esse período se mostrou suficiente e este servidor precisa ser substituído para dar espaço a outros que possam desempenhar bem a função. Gostaria de saber se há limite de tempo atuando na função num mesmo contrato ou com o mesmo objeto, uma vez que muda o contrato (empresa), mas os colaboradores são praticamente os mesmos (sempre são contratados pela nova empresa). Enfim, gostaria de uma justificativa para solicitar a minha substituição, uma vez outros servidores possuem competência para atuarem na função.
Aguardo orientações.
Obrigado