¿Está bien hervir agua para beber después de quitar la plancha con alumbre?

Claro, y es una buena idea hervir el agua. El alumbre dejará un precipitado, por lo que es probable que desee sacar el agua de la parte superior del recipiente o filtrarla si vierte de un recipiente a otro.

El alumbre hará que el agua parezca transparente, pero aún puede contener compuestos orgánicos disueltos, además de amebas y bacterias (en su mayoría destruidas por ebullición). La filtración completa, preferiblemente antes de hervir, es una buena idea.