hier ist das tessellation und displacement tutorial von der CE3 dokumentation (brauchst dafür aber halt ne DX11 karte^^)

ich hab hier auch für dich mal ein example texture test erstellt.

und hier hab ich noch die einstellung wie du die displacement map am besten abspeicherst. (mit bild!)

als erstes stellst du bei preview options "Alpha" ein, dann stellst du bei Preset "DisplacementMap" ein,
und zu guter letzt wird noch die texture auslösung eingestellt.

deine displacement map muss genau so heißen wie die diffuse texture, also wenn z.b. deine diffuse texture "t_brickwall_a.tif" heißt,
muss die displacement map "t_brickwall_a_displ.tif" heißen, und sie muss einen alpha kanal haben der genau so aussieht wie die displacement map selber.
und die displ texture sollte auch immer etwas unscharf sein, sonnst gibs hässlige kanten.

ich hoffe dass das etwas hilfreich für dich ist.