El estructuralismo lingüístico nos proporciona el marco teórico necesario para definir los distintos temas del lenguaje visual. El Curso de Lingüística General -obra póstuma de Ferdinand de Saussure aparecida en 1916- inaugura la idea de una ciencia general de los signos que entiende el lenguaje verbal como un modelo factible de aplicación a los demás ámbitos de comunicación sígnica, y por ende, también al lenguaje visual.
A esta teoría se oponen actualmente algunas corrientes que sostienen que una gramática de la imagen es epistemológicamente inexistente negando la posibilidad de establecer un alfabeto visual, una sintaxis o semántica de la imagen. Aún así, suponer que otros lenguajes puedan regularse por reglas y principios similares a las del lenguaje escrito sigue siendo hasta el momento el modelo más recurrente para definir al sistema de comunicación visual.
La gramática de imagen

El nivel sintáctico tiene que ver con la relación de los elementos gráficos entre sí, ya sea entre más de una imagen mediante secuencias o montajes; o interrelacionados dentro de una misma imagen.
El nivel semántico –aunque aplicado a la imagen se utilice más frecuentemente el término “semiótico”- se vincula con la relación entre los elementos del lenguaje y su significado.
Aunque se refiera al lenguaje expresivo del cine, el análisis con el que Pasolini comienza su reflexión en “Cine de poesía contra cine de prosa” es válido para introducir a la problemática del lenguaje visual utilizado en cualquier forma de comunicación mediada por imágenes: