地形呈半月型，南部有瓒岐山脉，北面是瓒岐平原。河流大多起源于瓒岐山脉，一路向北流入濑户内海。县面积为日本最小，仅1,876平方公里，平原和山地各一半。北面隔着濑户内海，于冈山县相对，其间有濑户大桥连接，东面和南面是德岛县，西面与爱媛县相邻。

香川县的海岸线长约699公里，海面有多数岛屿，风光明媚。

受到濑户内海的气候影响，香川县气候温和，一年四季温暖少雨。