AI와 텍스트 사용하여 레고 디자인 만들어주는 "LegoGPT" 무료 공개

출처: Pun, Deng, Liu, Ramanan, Liu, Zhu / Carnegie Mellon University

 

텍스트를 통해 새로운 디자인을 만드는 방식은 다음과 같습니다.

LegoGPT는 텍스트를 LEGO 디자인으로 변환하고, 이 디자인은 아래에서 위로 정렬된 텍스트 토큰으로 변환됩니다.

그런 다음 구조화된 LEGO 블록과 디자인을 설명하는 주석을 연결하는 지침이 생성되어 AI가 텍스트 프롬프트와 실제 블록 간의 관계를 이해할 수 있도록 합니다.

 

 

LegoGPT는 자기회귀 모델을 사용하여 설계를 구축하는 데 필요한 다음 브릭을 예측합니다.

즉, 각 단계에서 브릭의 유효성을 검증하여 브릭이 제대로 포맷되었는지, 라이브러리에 있는지, 기존 브릭과 겹치지 않는지 확인합니다. 이 과정은 설계가 완료될 때까지 계속되며, 설계가 완료된 후에는 안정성을 테스트합니다.

 

AI가 출력이 불안정하다고 판단하면 마지막으로 안정된 상태로 롤백하고 해당 지점에서 생성을 계속합니다.

최종 출력이 안정되면 설계가 완료됩니다.

 

출처: Pun, Deng, Liu, Ramanan, Liu, Zhu / Carnegie Mellon University

 

AI를 직접 사용해 보고 싶다면, 팀은 데이터셋, 코드, 모델을 공개하여 누구나 팀의 작업을 포크할 수 있도록 했습니다.

한 가지 발전된 점은, 누군가 이를 사용자 정의 가능한 브릭 라이브러리를 갖춘 다운로드 가능한 AI 앱으로 변환하는 것입니다.

 

https://github.com/AvaLovelace1/LegoGPT/

GitHub - AvaLovelace1/LegoGPT: Official repository for LegoGPT, the first approach for generating physically stable LEGO brick m

 

https://avalovelace1.github.io/LegoGPT/

Generating Physically Stable and Buildable LEGO Designs from Text

 

https://avalovelace1.github.io/LegoGPT/all_results/fall_360/guitar.mp4