연구하고 실험하며, 배운 것을 공개합니다.
로보코는 AI와 작은 팀이 어디까지 도전할 수 있는지 실제 과제로 확인합니다. 개발 에이전트의 완주, 모델 학습 자동화, 전문 도메인의 도구 개발, 클라우드 인프라의 활용 방식을 탐구하며, 실험 조건과 관찰 결과를 함께 기록합니다. 기대한 결과를 얻지 못했을 때도 다음 판단에 필요한 근거로 남깁니다.
소개 기준: 2026-10-16. 최신 실험 조건과 진행 상황은 각 프로젝트의 대시보드·연구 기록에서 확인할 수 있습니다.
랄프루프 완주 비교
결과 공개 · 후속 실험 진행
질문: AI 개발 에이전트는 목표를 받은 뒤, 사람의 개입 없이 검증을 통과할 때까지 개발을 완주할 수 있을까요? 모델과 작업 환경의 조합은 그 과정에 어떤 차이를 만들까요?
방법: 공통 과제인 RealWorld 백엔드를 구현하도록 맡깁니다. 작업과 검증을 반복하는 랄프루프를 사용하고, 공식 Hurl 테스트로 결과를 판정합니다. 실험별로 모델·하네스·언어·반복 한도를 기록하고, 독립적인 재검증을 통해 완주 여부를 확인합니다. 여기서 하네스는 에이전트가 도구를 사용하고 작업을 수행하는 실행 환경입니다. 이 실험은 강한 모델이 조언하고 약한 모델이 실행하는 Advisor 전략 측정에서 출발해, 모델과 작업 환경 조합의 완주 비교로 범위를 넓혔습니다.
관찰: 여러 조합의 완주 결과와 소요 시간, 반복 횟수, 토큰 사용 기록을 공개합니다. 실행 환경의 설정이나 채점 과정의 문제가 결과를 바꾼 사례도 분석해, 모델의 능력과 실험 환경의 영향을 구분합니다.
해석 범위: 특정 과제와 제한된 반복 실험의 결과입니다. 서로 다른 실행 시점·도구 버전·과금 기준을 함께 확인해야 하며, 단일 순위로 모든 개발 업무의 우열을 판단하지 않습니다.
수능 AI 벤치마크
2026학년도 결과 공개 · 2027학년도 수능 직후 평가 예정
질문: 최신 AI 모델은 대한민국 수능 문제를 얼마나 풀 수 있을까요? 모델과 실행 도구에 따라 정답률, 시간, 비용은 어떻게 달라질까요?
방법: 2026학년도 수능 홀수형 원본 PDF를 이미지로 렌더링해 문제 본문을 텍스트로 옮기지 않고 그대로 제시합니다. 국어·수학·영어의 147개 고유 문항을 OpenAI, Anthropic, 오픈 모델 계열의 여러 모델로 풀게 하고, 도구·검색·플러그인은 끕니다. 모델이 확신하지 못하는 문항은 기권할 수 있으며, 기권은 실행 오류와 구분해 기록합니다.
관찰: 모델별 답안과 채점 결과, 문항별 시간·토큰·비용 추정치를 대시보드로 공개합니다. 매년 수능 전에 전년도 문제를, 수능 직후에 새 문제를 같은 모델·프로토콜로 평가해 연도별 비교가 가능하도록 운영합니다.
해석 범위: 공개된 전년도 문제는 모델 학습 데이터에 포함됐을 가능성이 있습니다. 원점수를 학생의 표준점수·백분위·등급으로 환산하지 않습니다. 영어 듣기는 공식 대본 이미지로 평가하므로 음성 청취 평가와 다릅니다. 비용은 묶음 요청 값을 문항별로 균등 배분한 추정치입니다.
서버리스 자동 학습 실험
결과 공개 · 코드·튜토리얼 공개
질문: AI가 모델을 자동으로 개선하는 autoresearch 실험을 GPU 상시 운영 없이, 필요한 만큼의 클라우드 비용으로 실행할 수 있을까요?
방법: Karpathy의 autoresearch를 AWS SageMaker Spot에서 재현·확장합니다. L40S와 H100에서 학습 설정을 탐색하고, 후보 생성·병렬 학습·결과 수집·선택을 반복합니다. 학습할 때만 GPU를 사용하는 HUGI 패턴을 적용하며, 실험별 설정과 비용을 기록합니다.
관찰: 공개 기록에는 L40S와 H100에서 수행한 48개 실험이 담겨 있습니다. L40S에서 찾은 학습 설정을 H100에서 재검증한 결과와 함께, GPU별 비용·검증 지표, 작업 시작 대기 시간과 Spot 가용성의 영향을 공개합니다. 재현 코드와 8장의 핸즈온 튜토리얼도 제공합니다.
해석 범위: 특정 모델·학습 시간·GPU 구성에서 얻은 결과입니다. H100과 원본 프로젝트의 비교에는 단일 실행 결과가 포함되므로 반복 검증이 필요합니다. 비용과 소요 시간은 리전, Spot 가용성, 작업 시작 시간에 따라 달라집니다.
위상수학 기반 딥러닝 효율 실험
Track A 완료(가설 기각) · Track B·C 진행 상황은 저장소 참고
질문: 위상수학과 구조 수학을 활용하면 딥러닝 모델의 계산량(FLOPs, 메모리, 학습 시간)을 줄이거나, 같은 계산량에서 성능을 높일 수 있을까요?
방법: 세 트랙으로 나눠 검증합니다. Track A는 시계열 분류에서 Persistent Homology 요약 피처로 모델 크기를 줄이는지, Track B는 그래프에서 Simplicial/Cell Complex로 전역 attention을 피할 수 있는지, Track C는 텐서 분해로 가중치를 압축해 연산량을 줄이는지 확인합니다. 실험은 SageMaker Managed Spot Training에서 3개 시드로 반복합니다.
관찰: Track A에서 작은 모델(PH-MLP)은 4개 데이터셋 모두에서 비교 모델(InceptionTime)보다 F1이 8–32%p 낮아, 성공 기준(1%p 이내 하락)을 달성하지 못했습니다. 시간 패턴이 피처 변환 과정에서 손실되고, 긴 시계열에서 계산 비용이 커지는 것이 원인으로 분석됐습니다. Track A 전체 실험 비용은 약 0.40달러였습니다.
해석 범위: 이 결과는 Track A의 기법과 데이터셋에 한정됩니다. 위상수학 접근 전체가 효과 없다는 결론은 아닙니다. Track B·C의 결과는 2026-10-16 기준으로 아직 공개되지 않았습니다.
반도체 EDA 실험
탐색 · 일부 트랙 결과 공개
질문: AI와 함께 전문 지식을 학습하며 반도체 설계에 유용한 소프트웨어와 모델을 만들 수 있을까요? 만든 결과가 정확한지와 실제로 시간을 절약하는지를 어떻게 확인할 수 있을까요?
방법: 전자 설계 자동화(EDA) 영역에서 실험 추적 도구, 타이밍 분석기, 설계 흐름의 오류 진단기, 전원 전압 강하(IR drop) 예측 모델을 탐구합니다. 구현 전에 판정 기준을 정하고, 기준 데이터와 학습·개발에 사용하지 않은 별도 평가 데이터로 검증합니다. 트랙별 계획·프로토콜·결과·학습 튜토리얼을 공개합니다.
관찰: 공개된 연구 기록에는 실험 추적 도구가 정확성 기준을 통과했지만 목표한 시간 절감에는 미치지 못한 결과가 있습니다. 오류 진단기는 개발에 사용한 사례와 별도 평가 사례에서 성과가 달랐습니다. 정확성, 일반화, 현장에서의 유용성을 각각 확인해야 한다는 학습으로 연결됩니다.
진행 범위: 트랙마다 진행 상태가 다릅니다. 일부는 결과가 공개됐고, 일부는 탐색 또는 착수 대기 상태입니다. 현재 소개는 연구 로그와 트랙별 기록을 기준으로 하며, 상용 EDA나 실제 칩 제작을 완성한 성과로 해석하지 않습니다.
S3 실험
리서치 · 일부 실측 완료
질문: Amazon S3를 키·값 저장소, 이벤트 보관, 데이터베이스의 저장 기반, 파일 I/O에 활용하면 어떤 선택지가 생길까요? 각 방식이 유용한 조건과 비용·성능의 제약은 무엇일까요?
방법: 활용 패턴별 문헌 조사와 직접 측정을 구분합니다. S3 Files·Mountpoint for S3·EFS 비교 실험에서는 클라이언트 캐시를 비우는 조건으로 읽기·쓰기 워크로드를 실행하고, 지연시간·처리량·지원하지 않는 동작을 기록했습니다. SageMaker 학습 환경에서의 마운트 조건도 별도로 확인했습니다.
관찰: 패턴별 연구 보고서와 파일시스템 비교 측정 결과를 공개합니다. 워크로드와 캐시 조건에 따라 결과가 달라지며, 성능뿐 아니라 적용 환경의 제약도 선택에 영향을 준다는 점을 보여줍니다.
해석 범위: 전체 패턴의 구현과 실측이 모두 완료된 것은 아닙니다. 파일시스템 보고서의 측정일은 2026-05-04이며, 인스턴스·리전·캐시 조건이 명시돼 있습니다. 클라이언트 캐시를 비워도 서비스 내부 캐시는 남을 수 있다는 한계까지 함께 읽어야 합니다.
Aurora DSQL 비교 실험
12개 실험 완료 · 도입 판단 보고서와 사용 가이드 공개
질문: Aurora DSQL은 기존 관계형 데이터베이스와 같은 업무를 수행할 때 성능, 개발·운영 작업, 비용과 제약에서 어떤 차이를 보일까요?
방법: Aurora DSQL을 RDS PostgreSQL Multi-AZ 인스턴스, Aurora PostgreSQL Provisioned, Aurora PostgreSQL Serverless v2와 비교했습니다. 같은 주문 업무·정합성·지연 목표를 기준으로 SQL 호환성, 경합과 정합성, OLTP 처리량과 지연, 연결, 장애와 복구, 급증과 유휴, 운영 작업, 대용량 조회, 비용을 12개 실험으로 검증했습니다. 실험 조건과 측정 자료, 실행 코드를 공개합니다.
관찰: 연결 256개 고정 동시성에서 DSQL은 초당 24,541건 이상을 지연 목표 안에서 처리했고, 대조군이 목표를 지킨 최고 처리량은 Aurora Serverless v2 11,559건, RDS Multi-AZ 5,839건, Aurora Provisioned 3,375건이었습니다. 대신 쿼리 한 번의 지연은 Aurora보다 3–6배 길었고(쓰기 p95 약 30–40 ms), 기존 SQL 35개 중 16개를 고쳐야 했으며, 충돌 재시도와 트랜잭션 분할(3,000행·300초)이 필수였습니다. 비용은 요청 백만 건당 약 0.31달러로 요청 수에 비례해, 평균 부하가 약 1,100 TPS보다 낮거나 쉬는 시간이 긴 서비스에서 고정 인스턴스보다 쌌습니다. 원하는 시각으로 되돌리는 시점 복원은 지원하지 않았습니다.
해석 범위: 2026-09-24–29 서울 리전에서 한 가지 주문 업무와 약 5 GiB 데이터로 실행했습니다. 대부분 1회 측정이며, 12개 중 9개는 계획의 일부만 실행한 최소 범위(MVP)입니다. DSQL 처리량은 부하 발생기 한계에 가까운 하한이고, DSQL과 대조군의 처리량 측정은 다른 날·다른 부하 발생기 사양으로 실행했습니다.
실험에서 고객의 생산 체계로
이 실험들은 도구와 인프라를 선택하고, 검증 기준과 운영 조건을 설계할 때 참고할 근거가 됩니다. 귀사의 환경에서는 실제 업무로 적합성을 확인하며 소프트웨어 팩토리 파일럿과 구축으로 연결합니다.