Die kleinen ledrigen immergrünen Blätter erinnern tatsächlich an den Buchs, spätestens an den Blüten des Zwergbuchs‘ oder Buchsblättrigen Kreuzblümchens wird aber klar, dass hier keine nähere Verwandtschaft bestehen kann. Kreuzblümchen, wie die Gattung Polygala generell genannt wird, sind nahe mit den Schmetterlingsblütlern wie Klee oder Wicke verwandt.
Der Zwergbuchs kommt in den gesamten Alpen und in den deutschen Mittelgebirgen vor, überall dort, wo im Untergrund Kalk oder Dolomit vorliegt. Fast immer wächst er zusammen mit der Schneeheide (Erica carnea) an Sonnenhängen oder in lichten Nadelwäldern.
Der Zwergbuchs blüht sehr zeitig im Frühjahr – so zeitig, dass vorwitzige Individuen manchmal schon ein einer Schönwetterphase im November oder Dezember ihre Blüten öffnen.