오늘날 데이터의 중요성은 아무리 강조해도 모자랍니다📊. 현대 사회에서 데이터의 양이 방대해지며 그 속에서 가치 있는 정보를 찾아내고 인사이트를 뽑아내는 통찰력은 기업의 생존과 번영에 직결하게 되었습니다. 데이터의 홍수 속에서 살아남기 위해 데이터 사이언티스트는 복잡한 알고리즘을 설계하고, 정교한 머신러닝 모델을 훈련하며, 숨겨진 패턴과 트렌드를 발견하고 있습니다. 문제는 이런 인사이트가 경영진과 현업 담당자에게 어떻게 전달될까?입니다.

대부분의 데이터 분석 결과는 복잡한 보고서로 이루어져 있어 전문 지식이 전문 상태에서는 직관적으로 이해가 어려울 수 있습니다. 데이터 분석가가 파이썬으로 훌륭한 모델을 만들지라도 이를 웹 대시보드로 구현하기 위해서는 HTML, CSS, javaScript와 같은 웹 개발 언어를 이해하고 Django, Flask 등 웹 프레임워크에 대한 이해와 배포가 필요합니다. 데이터 분석가에게 이는 단순 개발을 넘어선 영역으로 해당 업무에 대한 부담감으로 이어집니다

이러한 문제점을 해결할 수 있는 답안은 바로 ‘스트림릿(Streamlit)’입니다. 데이터에서 가치를 창출하는 여정의 마지막 단계, ‘전달과 활용’에서 해답을 던지고 있는 스트림릿은 정확히 무엇인지, 어떻게 활용할 수 있는지, SPH가 PoC단계에서 스트림릿을 사용한 실졔 사례까지 포스팅 하나로 정리해 드립니다.

📚목차

1. 스트림릿(Streamlit)이란?

2. 스노우플레이크에서 스트림릿 활용하기

3. SPH의 글로벌 페이 서비스 PoC 들여다보기

4. 데이터 수집, 분석, 시각화가 필요하다면? 데이터 컨설팅 전문 기업 SPH

1. 스트림릿(Streamlit)이란?

스트림릿은 데이터 사이언티스트를 위해 특별히 설계된 오픈 소스 파이썬 라이브러리입니다. 스트림릿은 ‘데이터 스크립트를 단 몇 줄의 코드로 인터랙티브한 웹/앱으로 구현한다’는 혁신적인 기능으로 2019년 공개 이후 데이터 커뮤니티를 뜨겁게 달구었습니다. 스트림릿의 핵심 가치는 데이터 사이언티스트가 웹 개발 지식 없이 파이썬만으로 완전한 데이터 애플리케이션을 구축할 수 있다는 점입니다.

스트림릿을 사용하면 복잡한 웹 프레임워크나 프론트 개발 대신 익숙한 파이썬 코드로 데이터 분석부터 시각화, 배포까지 모든 과정을 해결할 수 있어 개발 시간과 리소스를 크게 단축합니다.

스트림릿(Streamlit)을 쓰면 뭐가 좋을까? 스트림릿 특징 및 장점

스트림릿이 빠르게 성장하고 개발자들의 사랑을 받는 데는 여러 가지 이유가 있습니다.

첫째, 빠르고 단순한 개발. 스트림릿은 직관적인 함수명으로 누구나 쉽게 웹/앱을 개발할 수 있습니다.

• st.write(): 텍스트나 데이터를 화면에 출력
• st.slider(): 슬라이더 생성
• st.button(): 버튼 추가

이처럼 간단한 명령어만으로 대부분의 기능을 구현할 수 있으며, 코드를 저장하는 순간 앱에 변경 사항이 즉시 반영되는 '핫 리로딩' 기능 덕분에 개발 과정이 매우 유연하고 빠릅니다. 

둘째, 데이터 중심 설계입니다. 스트림릿은 파이썬 생태계와 완벽하게 통합됩니다. 

• Pandas DataFrame: 데이터 테이블을 쉽게 표시
• Matplotlib, Plotly, Altair: 다양한 차트와 그래프를 몇 줄로 구현
• PyDeck: 고급 지도 시각화
• 미디어 파일: 이미지나 비디오도 손쉽게 삽입

셋째, 뛰어난 인터랙티브 기능입니다. 스트림릿은 사용자가 앱과 상호작용할 수 있도록 다양한 위젯을 제공합니다. 사용자가 위젯을 조작하면 앱 데이터나 분석 결과가 실시간으로 보여 동적 대시보드/시물레이션을 쉽게 만들 수 있습니다.

• 텍스트 입력창, 숫자 입력
• 체크박스, 라디오 버튼
• 슬라이더, 선택 박스

넷째, 쉬운 배포입니다. 다양한 배포 옵션이 제공되어 개발부터 운영까지 seamless하게 연결됩니다.

• 로컬 실행: streamlit run your_app.py 명령으로 즉시 테스트
• 클라우드 배포: Streamlit Cloud에서 GitHub 연동을 통한 자동 배포
• 멀티 클라우드: 컨테이너 기술을 활용하여 AWS, GCP, Azure 등 어떤 환경에서도 유연하게 배포

별도의 복잡한 웹 개발 지식 없이도 전문적인 데이터 애플리케이션을 구축하고 배포할 수 있습니다.

2. 스노우플레이크 Snowsight에서 스트림릿 활용하기

스노우플레이크는 데이터 웨어하우스와 분석 도구 간의 긴밀한 통합이 필요성을 인식하고 2023년 ‘스트림릿 인 스노우플레이크(Streamlit in Snowflake)’를 정식 발표했습니다. 

가장 큰 변화는 ‘통합된 개발 환경’입니다. 개발자는 스노우플레이크의 데이터 클라우드에서 스트림릿 애플리케이션을 안전하게 개발-배포-공유할 수 있으며, 스노우사이트(Snowsight) 웹 UI내에서 파이썬 워크시트와 스트림릿 앱을 함께 개발하고 관리할 수 있습니다.

특히 주목할 점은 데이터 보안의 획기적 개선입니다. 과거에는 스노우플레이크 데이터를 외부 서버로 이동시켜 앱을 구축해야 했지만, 이제는 데이터나 코드를 외부로 이동하지 않고도 스노우플레이크 내에서 모든 작업을 완료할 수 있어 민감한 데이터도 안전하게 처리할 수 있습니다.

운영 측면에서도 혁신적 변화가 있었습니다. 별도의 서버 관리, 데이터 전송 비용, 복잡한 배포 과정 등의 문제가 해결되어 개발부터 운영까지의 전체 프로세스가 간소화되었습니다.

Streamlit in Snowflake의 주요 특징

'스트림릿 인 스트림릿'는 기존 데이터 앱 개발의 한계를 뛰어넘는 혁신적인 기능들을 제공합니다.

1. 가장 중요한 특징은 데이터가 있는 곳에서 실행(Run where your data lives)된다는 점입니다. 스트림릿앱이 스노우플레이크 데이터 웨어하우스 내에서 직접 실행되므로 데이터를 외부로 이동시킬 필요가 전혀 없어 데이터 유출 위험을 원천 차단하고 강력한 보안과 데이터 거버넌스를 보장합니다.

2. 간소화된 배포 및 관리 역시 큰 장점입니다. 별도의 인프라 설정이나 관리 없이 익숙한 Snowflake 환경 내에서 앱을 배포하고 운영할 수 있어 DevOps 부담을 줄이고 개발 생산성을 크게 향상합니다.

3. 또한 스노우플레이크의 강력한 컴퓨팅 자원을 그대로 활용할 수 있습니다. 앱이 스노우플레이크의 가상 웨어하우스(Virtual Warehouse) 위에서 실행되므로 대규모 데이터셋에 대한 복잡한 쿼리나 계산도 스노우플레이크의 병렬 처리 능력을 활용하여 빠르게 수행할 수 있습니다.

4. 마지막으로 향상된 협업 환경을 제공합니다. 팀원들이 동일한 플랫폼 내에서 데이터를 공유하고, 스트림릿 앱을 통해 분석 결과를 시각화하며, 실시간으로 협업할 수 있습니다.

Streamlit in Snowflake의 간단한 사용 방법

사용법은 놀라울 정도로 직관적입니다. Snowsight에서 몇 번의 간단한 조작으로 새로운 Streamlit 앱을 생성할 수 있으며, Snowflake 데이터를 조회하는 것도 매우 간단합니다.

이처럼 간단한 코드만으로 스노우플레이크 테이블의 데이터를 외부 이동 없이 바로 데이터프레임으로 확인할 수 있습니다. 덕분에 데이터 분석가들은 데이터 분석, 모델링, 애플리케이션 개발에 이르는 전 과정을 스노우플레이크 단일 환경에서 매끄럽게 수행할 수 있게 되었습니다.

3. SPH 글로벌 페이 서비스 관련 대시보드 구현 PoC 사례 소개

데이터 컨설팅 전문 기업 SPH는 최근 글로벌 페이 서비스 기업을 위한 PoC(Proof of Concept)를 성공적으로 수행했습니다. 해당 PoC의 목표는 해당 기업의 복잡한 기업 데이터를 보다 직관적이고 인터랙티브한 대시보드 형태로 시각화하고, 나아가 AI 기반의 분석 및 의사결정 지원 기능을 통합하는 것이었습니다. 

이번 PoC에서 SPH는 기존 스트림릿의 장점인 빠른 개발 및 직관적인 시각화 기능을 극대화하면서, 고객사의 특정 요구사항을 충족시키기 위한 추가적인 기능들을 통합했습니다. 주요 구현 기능은 다음과 같습니다.

1. LLM(Large Language Model) 기반 채팅창: 사용자가 자연어로 질문을 입력하면, AI가 이를 분석하여 필요한 SQL 쿼리를 생성하고 스노우플레이크에서 데이터를 조회합니다. 해당 결과는 다시 LLM을 통해 이해하기 쉬운 인사이트 형태로 제공되어 비전문가도 복잡한 데이터에 쉽게 접근하여 필요한 정보를 얻을 수 있습니다.

2. 고급 지도 시각화: 글로벌 페이 서비스의 특성을 반영하여, 전 세계 각 지역의 주요 비즈니스 지표 등을 지도 위에 시각적으로 표현했습니다. 이를 통해 지역별 현황을 한눈에 파악하고 전략적인 의사결정을 지원합니다.

3. 분석 내용 PDF 저장 기능: LLM 채팅창에서 분석된 데이터 결과를 필요에 따라 PDF 보고서 형태로 즉시 저장할 수 있도록 구현했습니다. 이는 대화형 분석 과정에서 얻은 인사이트를 체계적인 문서로 변환하여 업무 효율성을 높이고 분석 결과의 활용도를 증대시킵니다.

위의 대시보드는 글로벌 페이 서비스 기업 PoC 사례를 설명하기 위한 예시일 뿐이며, 시각화된 숫자 및 차트는 모두 재구성된 가상의 데이터입니다. 

SPH 글로벌 페이서비스 PoC에 적용된 Snowflake Cortex 기반 LLM 채팅 분석 시스템

에스피에이치는 사용자의 자연어 질문을 분석하고 데이터를 조회/분석하기 위해 Snowflake Cortex의 다음 기능들을 활용했습니다.

1. Cortex Analyst: 자연어를 SQL로 자동 변환하는 AI 분석 도구

• 질문 입력 → 질문 해석 → SQL 생성 → 결과 반환의 워크플로우

• YAML Semantic Model을 통한 데이터 정확성 보장

2. CORTEX.COMPLETE 함수: 생성된 데이터셋의 심화 분석

• Claude-3.5-Sonnet, llama3.1-405b 등 다양한 LLM 모델 선택 가능

• 프롬프트 엔지니어링을 통한 정교한 데이터 분석 수행

이러한 Snowflake Cortex 기능들을 Streamlit으로 통합함으로써, SQL 지식 없이도 복잡한 데이터 분석이 가능한 직관적인 채팅 기반 분석 환경을 제공할 수 있었습니다. 특히 별도의 인프라 없이 Snowflake 생태계 내에서 모든 것이 해결되어 개발과 유지보수가 매우 효율적입니다.

4. 데이터 수집, 분석, 시각화가 필요하다면? 데이터 컨설팅 전문 기업 SPH

에스피에이치(SPH)는 GIS전문 기업으로 시작하였으나 공간 데이터에 국한되지 않고 다양한 유형의 데이터를 분석하는 데이터 컨설팅 전문 기업입니다. 디지털 트랜스포메이션 시대에 기업들이 데이터로부터 최대한의 가치를 창출할 수 있도록 데이터 분석, 클라우드 컴퓨팅, 인공지능 및 머신러닝 기반의 솔루션을 제공하고 있습니다.

위의 글로벌 페이 서비스 기업의 PoC 사례에서 보셨듯이 에스피에이치는 단순한 기술 제공을 넘어 고객의 비즈니스 문제를 깊이 이해하고 이에 맞는 산업별 맞춤 전략과 솔루션을 제공하고 있습니다. 에스피에이치는 스노우플레이크의 국내 공식 파트너사로 활약하고 있으며 스트림릿을 포함한 최신 데이터 기술, LLM 기반의 자연어 인터페이스, 고급 지도 시각화 등을 활용하여 효율적으로 데이터를 관리-분석-시각화하도록 지원하고 있습니다.

데이터 분석과 시각화에 대한 니즈는 있지만 막상 어떻게 실행하면 좋을지 막막한 기업이라면, 또는 우리 회사가 가진 데이터의 잠재력을 최대한 발휘하고 싶은 기업이라면 에스피에이치와 함께 미래 지향적인 데이터 기반 솔루션을 구축해 나가시는 건 어떨까요? 데이터 분석, 데이터 자동화, 데이터 시각화 등 관련하여 문의 사항이 있으시다면 아래 링크를 통해 에스피에이치 세일즈팀을 만나보실 수 있으니 많은 관심 부탁드립니다.

• SPH에 문의하기

SPH는 Google Maps, SuperMap, Maxar Technologies 등 다양한 제품군을 가지고 있으며, 고객의 사례에 꼭 맞는 무료 세미나 및 인적 컨설팅을 제공하고 있습니다. 더욱 자세한 이야기를 나누고 싶으시다면, 여기에서 문의 주시길 바라며, SPH에서 발행하는 GIS / 로케이션인텔리전스 관련 최신 소식을 받아보고 싶으신 분들은 페이스북 페이지 또는 뉴스레터를 구독해주시길 바랍니다