スマートフォン対応していないと検索順位が下がるって本当ですか？

本当です。
Googleは2015年4月21日より、ホームページがスマートフォン対応しているかどうかを検索アルゴリズムに追加しました。Googleでは「モバイルフレンドリー」という言葉を使っています。
その結果、スマートフォンに対応していないサイトは、検索順位が下がることになりました。
一般論としては、レスポンシブデザインによりスマートフォン対応（モバイルフレンドリー）されることをお勧めいたします。