Indica si cambiarías algo en el siguiente fragmento al intentar actualizar un contacto con un ID específico:

app.put('/contactos/:id', (req, res) => {
    Contacto.findByIdAndUpdate(req.params.id, req.body, { new: true }, (error, contacto) => {
        if (error) return res.status(500).send(error);
        return res.send(contacto);
    });
});