El problema es que esos son tus principales agentes de fermentación. Sus otras opciones son hacer un pan de levadura (que será muy diferente a lo que se suele llamar pan de plátano) o intentar doblar las claras de huevo batidas justo antes de hornear (no se recomienda con la textura más pesada de este pan).
La mejor idea? Ve por un poco de polvo de hornear o refresco.