Есть библиотека для работы с геометрическими объектами
Нужно выдернуть оттуда одну функцию с сопутствующим объектами и реализовать ее на java.
Функция предназначена для поиска максимального прямоугольника, вписанного в произвольный многоугольник
называется maxRectangleInPolygonA,
скайп vgaidukov