Seguramente es posible, pero podría ser el doble de difícil. El aceite de palma es muy conveniente para los productores tener en sus productos. Además, si decides optar por menos o ningún producto con aceite de palma, estarás tomando un camino más cercano a una dieta de alimentos no procesados, como cruda o frutariana, que ya has mencionado, solo porque muchos alimentos procesados veganos contienen ese aceite (que puede ser muy bueno, si te aseguras de obtener los nutrientes que necesitas).
Pero sí, definitivamente es posible hacerlo sin ir en crudo. Sin embargo, tendrías que soltar la mayoría de las galletas, cereales para el desayuno y productos como esos. Solo revise los ingredientes cuando compre algo.