картина имеет форму прямоугольника со странами 12 и 17 см. её

Ширина рисунки с окантовкой: 2х + 12
Длина картинки с окантовкой: 2х + 17 , где х - ширина окантовки.

Тогда: (2х + 12)(2х + 17) = 414
             4х + 24х + 34х + 204 = 414
             4х + 58х - 210 = 0
             2х + 29х - 105 = 0           D = b-4ac = 841 + 840 = 1681 = 41

              x = (-b+D)/2a = (-29+41)/4 = 3 (см)

              x = (-b-D)/2a = (-29-41)/4 = -17,5  - не удовлетворяет условию. 

Таким образом, длина рисунки с окантовкой: a = 2*3+12 = 18 (см)
                           ширина рисунки с окантовкой: b = 2*3+17 = 23 (см)
Общая площадь: S = ab = 18*23 = 414 (см)

Ответ: ширина окантовки 3 см.