Фразеологизм пошел из евангельского эпизода с одержимым бесами, которые потом в стадо свиней, ну и так далее. Так что чур меня, чур