Иногда случается, что при нажатии на элементы списка, некоторые из них сдвигаются на 1-2 пикселя.

Возможные варианты решения:
– если у текста выставлен параметр для высоты – wrap_content, попробуйте изменить на фиксированную высоту
– если у текста выставлен параметр gravity="center*", попробуйте убрать его совсем, что бы проверить оно или нет.
– в итоге, это оказалась проблема с разделителем списка. Самое простое решение было его просто отключить: android:divider="@null"