Automation Finder — 업무 자동화 진단 · 숭블리 LAB

한 줄로

“반복 업무 화면을 영상으로 찍어 올리면 → 무엇을, 어떻게 자동화할 수 있는지 ‘진단서 + 제작서’를 만들어 드립니다.”

“자동화하면 편할 것 같긴 한데, 뭘 어디서부터 손대야 할지 모르겠다.” — 소상공인·1인 사업자에게 가장 흔한 고민입니다. Automation Finder는 그 막막함을 구체적인 진단으로 바꿔 줍니다. 여러분이 매일 하는 그 업무 화면을 보고, “이 부분은 이렇게 자동화할 수 있고, 그러면 주당 몇 시간이 절약됩니다"를 짚어 드립니다.

이런 분께 필요합니다

엑셀에 같은 값을 매일 반복 입력하고 있다
예약·주문 문자/메일을 손으로 하나씩 보내고 있다
여러 사이트를 오가며 자료를 복사·정리하는 데 시간을 쓴다
자동화 얘기는 많이 듣는데 내 업무엔 뭐가 맞는지 모르겠다
개발자를 부르기 전에 뭘 만들어야 하는지부터 정리하고 싶다

무엇을 받나요 — 진단서 + 제작서

단순한 “자동화하세요” 조언이 아니라, 바로 실행에 옮길 수 있는 두 개의 문서를 드립니다.

문서	담기는 내용
① 자동화 가능성 분석서	업무를 단계별로 분해 · 자동화 후보 지점 · 절감 예상 시간 · 난이도 · 우선순위
② 자동화 제작서	각 후보를 어떤 도구로 어떻게 만들지(buildspec) · 필요한 준비물 · 예상 효과

즉, “무엇이 문제인지"부터 “그래서 뭘 만들면 되는지"까지 한 번에 정리됩니다.

어떻게 동작하나

업로드 — 반복 업무 화면을 브라우저에서 바로 녹화하거나, 미리 찍은 영상을 올립니다. (동의 게이트 + 업무명 라벨)
키프레임 추출 — 영상에서 핵심 장면들을 자동으로 뽑아냅니다.
비전 AI 분석 — AI가 실제 화면을 읽어 업무 흐름·자동화 후보를 담은 초안을 만듭니다.
운영자 진단 — 사람이 영상을 다시 보며 초안을 다듬어 진단서 + 제작서로 확정합니다.
발송 — 확정되면 결과 링크가 여러분 이메일로 자동 발송됩니다. 로그인해서 언제든 다시 볼 수 있습니다.

텍스트가 아니라 실제 ‘화면’을 봅니다

많은 진단 도구가 “무슨 일을 하세요?“라는 설명(텍스트) 만으로 조언합니다. Automation Finder는 다릅니다 — 영상에서 뽑은 키프레임을 비전 AI(Claude) 가 직접 읽습니다.

실제 테스트에서, 업무명을 대충 적어 넣어도 AI가 화면을 읽어 “이건 소상공인 지원사업 신청서를 작성하는 업무"라고 정확히 파악했습니다. 말이 아니라 화면이 근거라 진단이 구체적입니다.

녹화는 이렇게

브라우저 화면 녹화 — 설치 없이 클릭 한 번으로. 최대 20분(메모리 보호를 위해 화질 자동 조절).
파일 업로드 — 미리 찍어둔 영상을 올려도 됩니다. 큰 영상은 잘게 나눠 안전하게 전송(청크 업로드).
모바일·Safari 안내 — 이 환경은 화면 녹화가 안 되므로, 자동으로 감지해 파일 업로드로 안내합니다. (데스크톱 Chrome·Edge·웨일·Firefox는 녹화 가능)

프라이버시 · 보안을 먼저 생각했습니다

업무 화면에는 민감한 정보가 담기기 쉽습니다. 그래서 이렇게 설계했습니다.

영상은 서버 한 곳에만 저장되고, 본인과 운영자만 접근합니다. 다른 방문자 PC엔 남지 않습니다.
이메일 첨부가 아니라 보안 업로드로 전송됩니다.
로컬 분석 옵션 — 텍스트 분석은 PC 안의 로컬 AI(ollama)로 돌려, 내용이 밖으로 나가지 않게 할 수 있습니다.
업로드 전 동의 절차와 업무 민감도 표시를 거칩니다.

사람 + AI 하이브리드 (OZ 방식) — 왜 이렇게 하나

지금은 운영자가 직접 분석하고 AI가 초안을 보조하는 단계입니다(OZ, Wizard of Oz). 이유는 간단합니다 — 실제 업무 영상을 모아가며 품질을 먼저 검증하기 위해서입니다. 초안이 충분히 믿을 만해지면, 키프레임·화면 VLM·이벤트 로그·음성 STT를 붙인 자동 파이프라인으로 확장합니다.

핵심은 분석 엔진이 모듈 계약(analyze(영상) → 진단 초안)으로 분리돼 있다는 점입니다. 그래서 뒤에서 사람이 하든 AI가 하든, 백엔드를 바꿔도 여러분이 보는 화면과 결과 형식은 그대로입니다.

기술 구성

Flask 웹앱 — 고객 업로드(공개) + 운영자 작성 화면(/admin)
ffmpeg — 영상에서 키프레임 자동 추출
비전 AI — 키프레임을 Claude(claude-sonnet-4.6)가 화면 분석
텍스트 LLM — 로컬 exaone3.5(한국어 강함) 또는 클라우드, 플러그인 전환
청크 업로드 — 큰 영상도 안전하게 분할 전송
이메일 자동 발송 — 접수 확인 + 인증 링크 (grant suite SMTP 재사용)

개발 현황 (개발중 · OZ MVP)

이미 되는 것

✅ 가입/로그인(이메일 인증 포함) → 브라우저 녹화 또는 파일 업로드 → 접수 확인 메일
✅ 운영자 화면: 고객별 영상 목록 → 비전 AI 자동분석 초안 → 진단서 편집 → 확정·이메일 발송
✅ 실제 화면 기반 분석 검증 완료(더미 라벨이어도 화면 읽어 실제 업무 파악)

다듬는 중

⚠️ 로컬 비전(VLM) 전환 옵션 — 민감 영상까지 완전 로컬 처리
⚠️ 이벤트 로그(크롬 확장) · 음성 나레이션 STT로 분석 정확도 강화
⚠️ 사업자등록증 자동 인식, 청크 업로드 재개, 보관·파기 정책 확정

데모 안내

위 “라이브 데모” 버튼을 누르면 실제로 돌아가는 Automation Finder에 연결됩니다. 직접 업무 영상을 올려 자동화 진단을 받아볼 수 있습니다. (현재는 제 PC가 가동되는 동안 열리며, 추후 상시 운영으로 전환할 예정입니다.)