変換ソフトはAviUtl。
■確認されたPSPでの主な制約 (※情報源は私の個人研究、検証時の解像度は480×270px)
・ Baseline、Mainプロファイルのみ対応 (必然的に8x8dctは非対応)
・ B-pyramid非対応
・ 参照フレーム数は3枚まで
・ GOP(Group of Picture)は固定必須
・ 対応解像度は一定以下、あるいは特定のもの (480×270px、360×270px、など)
・ 音声はAACのみ対応 (※MP3の場合は音声が異常になるものの映像は正常に再生可能)
GOPの固定を忘れている場合はシーンカット時にエラーで止まります。
GOPはシーンカット閾値を0にしてキーフレームの上限・下限を設定すると固定されます。
OpenGOPというよく分からない設定事項もついでに切っときましょう。(※影響については未検証)
対応解像度はよく分かりませんがPSP内蔵ディスプレイでの再生が目的なので
16:9の場合は480×270px、4:3の場合は360×270pxで良いでしょう。
PSPのディスプレイは解像度480×272dotですが480×270pxでも再生してくれます。
Level、Bフレーム枚数、フレームレートの上限については不明ですが
Level 3.1、Bフレーム 5枚、59.97fpsでも480×270pxで試聴可能であることを確認しています。
サイトによってはLevelによる制約やフレームレート上限が記載されていますが
こちらの環境やテストでは上限を見つけられていません。