묻고답하기

안녕하세요?

요즘 사이트가 페이지 이동하다 보면 랜덤하게 500에러가 나는경우가 있어 로그를 봤더니 AhrefsBot 봇으로 들어오는 사례가 많아 robot.txt에

User-agent: AhrefsBot

Disallow: /

User-agent: *

Allow:/

Disallow: /admin/

를 추가해 놓은 상태입니다.

서버를 내렸다 올려서 그런지 현재는 문제가 없으나 IIS 로그를 보면 여전히 status는 200인 상태로 로그는 계속 찍히고 있는데요..

서버를 내렸다 올리면 하루정도는 괜찮은데 몇시간 지나면 여전히 랜덤하게 500에러를 내거든요..

robot.txt가 제대로 작동하고 있는건가해서요..

감사합니다.

글쓴이 제목 최종 글
XE 공지 글 쓰기,삭제 운영방식 변경 공지 [16] 2019.03.06 by 남기남
별빛 메일 알람에 링크를 걸게 하려면 어덯게 해야 하나요? newfile  
쇼니맘 제로보드4 xss취약점이요~  
이정현 XE 게시판 기능에 관하여 한가지 문의드립니다. [1] 2019.10.15 by 이정현
적순 위젯 추가 질문합니다.. file  
Quiple HTML 알 수 없는 여백 질문 [1] 2019.10.15 by LYG
jworld 정규 멤버 아니면 답글 안 달아주나요? 고수님들 도움 부탁합니다. [1] 2019.10.15 by LYG
연필 문자열을 php 코드로 변환하는 함수가 기억나지않습니다. [1] 2019.10.14 by 연필
달려라흰둥아 혹시 이런 오류 보신 분 있나요? [1] 2019.10.13 by sejin7940
rail_man phpmyadmin 접속이 되지않고 있습니다. [1] 2019.10.13 by railman
koreaseongpil 개인도메인 설정 방법 질문드립니다.  
nothing cafe24 XE3 STEP 3 단계에서 에러가 발생합니다. [2] 2019.10.11 by LuisK
lark007 스팸회원 문제 10000명 한번에 삭제하려면 어떻게 할까요 [5] 2019.10.10 by 현종이닷
대한국인 게시판 글 쓰기와 본문 읽기에서, 이런 현상이 일어나는데 ~ 버그인가요? [2] file 2019.10.10 by 대한국인
railman common_layout.html 소스보기에서 동일구문이 2개가 정상인지요 [2] 2019.10.09 by railman
걷고걷기 크롬 브라우저 문제 file  
책상다리 로그인 520애러 [5] 2019.10.08 by sejin7940
검은고양이냐옹 서버 환경좀 살펴봐주세요? [1] 2019.10.08 by J.LAB
벼리 게시글 열람시 포인트 중복 차감 방법 [1] 2019.10.08 by sejin7940
녹색사랑 xpress 에디터 파일 첨부시 사라짐 (익스플로러11. 엣지) [3] 2019.10.07 by Happiness
가입명 contact 스킨에서 아래 버튼 삭제하는 방법이 있을까요? [1] file 2019.10.07 by sejin7940
mgl**** 질문합니다 [1] file 2019.10.06 by DoorWeb
JamesRhee 최신버젼을 설치하기가 어렵네요.. [2] 2019.10.04 by JamesRhee
MC조몽 확장변수 여부 체크 isExtraVarsExists() 오류? [1] 2019.10.02 by sejin7940
railman 검색시 이전에(제로 보드) 작성한 게시물이 노출되지 않는 현상  
railman 사이트명 한글이 깨어져서 노출되고 있습니다. [2] file 2019.10.02 by railman
wormhole7 썸네일 간격 문의 [1] file 2019.10.02 by DoorWeb
딥리버 xe보드 이미지 업로드 가 안됩니다 도움이 필요합니다  
비유 xe 입문하였습니다. 어떤걸 공부해야하나요? [1] 2019.10.01 by DoorWeb
안느 원페이지에서 #아이디 값에 따른 메뉴컬러를 변경하려면 어떻게 해야 하나요? [1] 2019.10.01 by DoorWeb
eznz**** IIS에서의 봇 차단 문의 [2] 2019.10.01 by eznz****