Bueno, tienes razón en que puede desencadenar el pánico y la ansiedad peor, aparte de eso, el mayor efecto perjudicial que el café puede tener es en tu horario de sueño. Es un estimulante, creo. También tiene el factor negativo de manchar sus dientes, por lo que se aconseja cepillarse con frecuencia, o al menos después de haber tomado una taza.
Recuerdo haber visto un video en YouTube de CGP Gray, en el que básicamente explica por qué el café y la cafeína en realidad son mucho más beneficiosos para una persona que un obstáculo. El café realmente estimula y estimula sus funciones, y no tiene efectos secundarios importantes como la mayoría de las drogas. Si tiene mucha curiosidad sobre el tema, le recomiendo que busque ese video, todos sus videos son muy profesionales, informativos e interesantes de ver.