У меня тоже была эта проблема, но причина была в другом. Я использую VS2017 с F # 4.0.
Во-первых, консоль в Visual Studio не дает достаточно подробностей, почему тесты не могут быть найдены; он просто не сможет загрузить DLL с тестами. Так что используйте NUnit3console.exe в командной строке, так как это дает вам больше деталей.
В моем случае это было потому, что тестовый адаптер искал более новую версию F # Core DLL (4.4.1.0) (F # 4.1), тогда как я все еще использую 4.4.0.0 (F # 4.0). Поэтому я просто добавил это в app.config тестового проекта:
<dependentAssembly>
<assemblyIdentity name="FSharp.Core" publicKeyToken="b03f5f7f11d50a3a" culture="neutral" />
<bindingRedirect oldVersion="0.0.0.0-65535.65535.65535.65535" newVersion="4.4.0.0" />
</dependentAssembly>
т.е. перенаправить на более раннее ядро F #.