Joseph Chevillon est né à Marseille le 21 mars 1849. Après ses études secondaires au grand lycée (lycée Thiers), il entre à l’école de médecine de Marseille. Mobilisé comme aide-major en 1870, il reprend ses études et passe sa thèse à Paris en 1876. Il va ensuite mener une carrière politique : successivement élu conseiller municipal de Marseille, puis conseiller général, député radical socialiste des Bouches du Rhône et enfin maire d’Allauch de 1888 à 1910, année de son décès.
Comme maire d’Allauch, il a présidé à nombre de réalisations (arrivée de l’eau courante, établissement de lavoirs publics, construction de nouveaux groupes scolaires, lancement de la construction du nouvel hospice et éclairage électrique de la commune). Il était chevalier de la Légion d’Honneur. On peut voir son buste, œuvre du sculpteur Lombard, dans le square Gilbert Lebrun à Allauch.
Son fils Frédéric, député des Bouches du Rhône est mort pour la France en février 1915.