Para empezar tendrias q ser un poco mas claro, entiendo q t refieres a delimitar el tamaño de la pantalla(el Frame). En netbeans eso es muy facil, seleccionas el Frame, luego vas a propiedades y ahi puedes darle un tamaño minimo(en minimunSize) y un maximo(en maximunSize) o en todo caso puedes hacer q la pantalla no se pueda redimencionar deseleccionando en la propiedad "resizable".