В каком словосочетании допущена ошибка в образовании формы слова.1) шестьюстами рублями2)

1) Шестьюстами рублями - правильное образование формы слова. 600 является трудным числительным, состоящим из двух долей (6 и сто). В таких числительных при склонении меняются обе части слова. Вариант "шестистами" неправильный, т.к. "шесть" в творительном падеже = "шестью", а "100" в твор. падеже = "стами". 

2) Ихние книжки - ошибочное образование формы слова. В российском языке вообщем отсутствуют такие слова, как ихние, евонные и т.д.

В данном случае правильной формой будет - их книги.