Я не подскажу с тем подходом, который вы использовали.
Пробовал только такой тулзой
https://github.com/nativelibs4java/JNAerator сгенерировал к уже существующему DLL (от стима) класс Java, в котором получилось вида
public interface LibrarySteamAppTicket extends Library {
byte SteamEncryptedAppTicket_BDecryptTicket(uint8 rgubTicketEncrypted, int cubTicketEncrypted, uint8 rgubTicketDecrypted, IntByReference pcubTicketDecrypted, Pointer rgubKey, int cubKey);
...
}
и вызывал так
private static LibrarySteamAppTicket Library = (LibrarySteamAppTicket) Native.loadLibrary("sdkencryptedappticket64" , LibrarySteamAppTicket.class);
// причем sdkencryptedappticket64.dll лежит рядом с jar при релизе (или в netBeans проекте в корне)
...
byte ret = Library.SteamEncryptedAppTicket_BDecryptTicket(..)
Причем DLL создана была явно не для java, а произвольную можно.
Простой
