NeuralOS는 마우스 움직임, 클릭, 키보드 이벤트와 같은 사용자 입력에 대한 응답으로 화면 프레임을 직접 예측하여 운영 체제의 그래픽 사용자 인터페이스(GUI)를 시뮬레이션하는 신경망 프레임워크입니다. 컴퓨터 상태를 추적하는 순환 신경망(RNN)과 화면 이미지를 생성하는 확산 기반 신경 렌더러를 결합합니다. Ubuntu XFCE 녹화 데이터의 대규모 데이터셋으로 훈련되었으며, 무작위로 생성된 상호 작용과 AI 에이전트가 생성한 현실적인 상호 작용을 모두 포함합니다. 실험 결과, NeuralOS는 현실적인 GUI 시퀀스를 성공적으로 렌더링하고, 마우스 상호 작용을 정확하게 포착하며, 애플리케이션 실행과 같은 상태 전환을 신뢰할 수 있게 예측하는 것으로 나타났습니다. 세밀한 키보드 상호 작용을 정확하게 모델링하는 것은 여전히 어려움이 있지만, NeuralOS는 미래의 인간-컴퓨터 상호 작용 시스템을 위한 완전히 적응적이고 생성적인 신경 인터페이스를 만드는 데 한 걸음 다가가게 합니다.
