Я не математик, но решился помочь человеку в трудном состоянии "Уже спать не могу!"
Мне в моей инженерной практике всегда помогали поясняющие рисунки/схемы .

Надеюсь, и Вы когда взглянете на мой мини-чертёжик, то у Вас прояснится решение.
Если не поможет, сообщите сюда. Я поднапрягусь, потрачу несколько часов, и надеюсь, что справлюсь. Или другие эксперты решат Вашу задачу раньше меня.

Прилагаю Вам в помощь МатСправочник.htm , подредактированный мною для удобного просмотра в легчайшем браузере IE6 с Разрешением 1024*768 (в других браузерах и экран-соотношениях я не проверял, картинки могут разъехаться). Там кликните по ссылке "Треугольник" впрыгнуть в абзац по Вашей теме.

Благодарю)
Чертёж классный!
Можно было еще одинаковые уголки отметитить при вершине В: Отрезки касательных к окружности, проведенных из одной точки, составляют равные углы с прямой, проходящей через эту точку и центр окружности.

Я уже не верю в свои силы... Занимаюсь задачей с воскресенья с некой периодичностью... Сегодня четверг... Хожу по кругу... Бесовщина какая-то...

Может быть, получится так.
По теореме о секущей и касательной: AM^2 = (AO + r)*(AO-r) = AO^2 - r^2.
Аналогичные уравнения запишутся для касательных и секущих, проведенных из точек B и C.
Всего три уравнения, содержащие четыре неизвестных AM, CN, BM=BN, r.
Еще два уравнения для тех же неизвестных можно записать, если выразить площади треугольников
ABO и BOC по формуле Герона и как произведение основания на высоту.

Если честно, я настолько устала от этой задачи, что просто хочу решение...

Применяла и секущую с касательной, и Пифагора, и пыталась увязать с Фалесом, и применяла свойство биссектрисы (ОС/АО = ВС/АВ), достраивала до четырёхугольника, применяла теорему синусов... всего не упомню уже..
Несколько раз я получила большие уравнения с одной неизвестной, но они были настолько большими для меня, что я , как человек не занимающийся этим всем регулярно, осознала, что такое уравнение я влёт не решу.

корень квадратный (36-r ^2) = 3*корень квадратный (16-r^2) - 4*корень квадратный (9-r^2)

(не знаю, как вставить красивую формулу)

Используем теорему о сукущей и касательной и теорему о биссектриссе.
Кажется, система уравнений решается через замену переменных.
Нашел только одну переменную, дальше должно быть просто, если здесь нет ошибок.

Вы писали "не знаю, как вставить красивую формулу" - см "Использование формул" rfpro.ru/help/services#600

"Можно было еще одинаковые уголки отметитить при вершине В: Отрезки касательных к окружности, проведенных из одной точки, составляют равные углы с прямой, проходящей через эту точку и центр окружности" - Гениально!! А я и не заметил…

"я настолько устала от этой задачи, что просто хочу решение" - сегодня мы победим Вашу задачу. Сергей Евгеньевич уже показал нам формулы. А мой Маткад может проверить наличие ошибок в вычислениях.

Всё, я сдаюсь...
Хотела оперативно сынишке помочь...

По совету Владимира Николаевича, для решения системы уравнений воспользовался программой.
То, что получилось, в прилагаемом файле. Систему можно решить так, как я написал раньше, там нет ошибок. Но способ решения, наверное, слишком громоздкий для школьной задачи. Покажите Вашему сыну, может быть, это ему поможет.

В дополнение к предыдущему -- вывод программы wxMaxima.

Спасибо большое, Сергей Евгеньевич и Владимир Николаевич за участие и помощь!
Для себя я вынесла, что это не я такая, а это задача )

Поздравляю Вас с удачным Решением задачи! Право оформить Ответ за Вами.