인간의 욕심은 끝이 없고 같은 실수를 반복한다

안티그래비티 + 제미나이 조합으로 그렇게 골머리를 앓아도,,, 멈출줄 모르는 루프에 빠지고도,,,

인간이란 익숙함에서 벗어날 줄 모르는 한낱 미물이라 이번에도 안티그래비티로 시작해봅니다.

왜냐면 이번엔 스스로에 대한 자신감 같은게 있었거든요.

 

수집해야 하는 데이터가 꽤 정규화 돼있고, 수집만 잘 하면 뿌려주는 건 어렵지 않다 생각했기 때문입니다. 읍읍

 

그간 작업해온 바이브가 있으니, 작업 환경 세팅 정도는 알아서 잘 합디다.

 

 

데이터 분석 교육 들으면서 배운건데요, 데이터 스크래핑에 필요한 정보 .md 파일로 주고 실행하면 되더라고요.

AI가 봇인거 티 안나게 살금살금 정보를 잘 수집해옵니다..!

 

수집한 시설 id, 시설 명칭, 주소, 전화번호는 accommodations db로 저장했어요.

근데 내가 알기로 시설이 184개인데, 179행밖에 안 들어왔더라고요?

왜 그런지 물어보니 뭘 뚱땅뚱땅 자꾸 working 하면서 답을 제대로 안 하더라고요.

수동으로 살펴보니 한 페이지를 아예 빼먹었던데, 원인은 아직 모르겠네요.

 

 

 

모든 휴양림 웹사이트는 동일한 URL에 시설 ID 파라미터만 다르게 되어있어요.

즉, 시설 ID 파라미터를 바꿔가며 사이트를 스크래핑 할 수 있다는 뜻이지요. 제가 하고싶은 것이었어요.

URL 구조와 accommodation db를 참조해서 해당 페이지의 정보를 긁어오게 시켰어요.

 

 

맞아요. reservation_policy를 얻고 싶었던 겁니다.

근데 서술형으로 작성되어 있어서 적합한 정보를 추출하고 정규화 하는 과정이 필요했어요.

DB를 분석하고, 정규화 방식을 제안해달라고 했어요.

 

 

안티그래비티 + 제미나이 조합의 좋은 점 중 하나는, implementation plan을 세우고, 거기에 in-line으로 의견을 달 수 있다는 점이에요. 실행 계획에 이렇게 제미나이가 질문을 던질 때도 있거든요. 여기에 가능한 상세히 답변하세요. 그리고 계획에서 사소하더라도 수정해야 하는 부분은 꼭 코멘트를 다는 게 좋더라고요.

 

 

어느 정도 세션과 맥락이 쌓이니 무한 루프의 늪이 시작됩니다. 원인은 모르겠어요.

8분을 생각하고도 결국 아웃풋을 내지 못하고 강제 종료합니다.

우여곡절 끝에 DB 정제는 완료했어요.

나중에 안 사실이지만, DB의 하드코딩은 가급적 지양해야 한대요.

왜냐면 주기적 배치로 데이터 업데이트를 해야하는데, 하드코딩 하게 되면 배치 자동화가 어려워지거든요.

이건 나중에 다시 고민하기로 하고 일단 만들어진 DB로 진행해보기로 해요.

 

DB를 참조로 걸고, 이걸로 제안할 수 있는 서비스 아이디어를 요청했어요.

 

꽤 괜찮은 아이디어들이 많이 도출됐어요.

이 중에 마음에 드는 몇 개를 골라 프론트를 구성해보려고 합니다.