Creo que puedo haber leído mal la intención de esta pregunta, pero ya escribí esta respuesta:
Primero, los colores aparecen en el lenguaje en un orden específico. No todos los colores tenían nombres históricamente. Tuvieron que ser inventados. También resulta que en todas las culturas, después del blanco y negro, el rojo es el primer color que se nombra. Así que las manzanas son rojas porque la gente sabía lo que era rojo (probablemente) mucho antes de que las manzanas se extendieran.
Orange, por otro lado, es uno de los últimos colores en tener su propio nombre. De hecho, la palabra naranja se usa para referirse a la fruta antes del color. Entonces, las naranjas, de hecho, no son de color naranja. El color naranja es el color de las naranjas.
Además, este episodio de Radiolab sobre los colores es increíble: colores
[1] Término del color
[2] La relatividad lingüística y el debate de denominación de color
[3] Naranja (palabra)