We study a dynamic job assignment problem in queueing systems with one class of Poisson arrivals and K groups of heterogeneous servers. A scheduling policy prescribes the job assignment among servers in each group at every state n (number of jobs in the system). Our goal is to obtain the optimal policy to minimize the long-run average cost, which involves the increasingly convex holding cost for jobs and the operating cost for working servers.