간만에 재미진 일.


간만에 사이트 운영팀에서 오류 문의가 속출했다. 등록이 안된다느니, 상세 페이지가 빈화면으로 나온다느니... 훗~ 걱정마라. 언제나 처럼 이 오빠가 해결해 줄테니.


우선 이 님들의 증상이 나에게도 동일한지 확인하였다. 특정 페이지들이 서버 500 에러도 있었지만 status 200 인데 빈화면이 나오는 기괴한 장면이 보여졌다. 동일한 소스의 개발 서버에는 정상적으로 작동하고 있었다. 실서버 로그를 확인해보니, 어제 아무개팀에서 인증서를 갱신했다.(내가 하던걸 왠일로...) 근데 로그를 뒤져보니 그 시간 이후로 오류가 속출했다. 잡았다, 요놈!! 공통적으로 주로 나온 오류들이다. 


INFO [main] org.apache.coyote.AbstractProtocol.destroy Destroying ProtocolHandler ["https-jsse-nio-8443"]

java.util.logging.ErrorManager: 4

java.io.FileNotFoundException: /usr/share/tomcat8/logs/catalina.2020-01-08.log (Permission denied)

        at java.io.FileOutputStream.open0(Native Method)

...


INFO [main] org.apache.catalina.core.StandardService.stopInternal Stopping service [Catalina]

[localhost-startStop-2] ERROR o.a.c.s.StandardManager - Exception unloading sessions to persistent storage

java.io.FileNotFoundException: /usr/share/tomcat8/work/Catalina/localhost/ROOT/SESSIONS.ser (Permission denied)

        at java.io.FileOutputStream.open0(Native Method)

...


SEVERE [https-jsse-nio-8443-exec-6] org.apache.catalina.core.StandardWrapperValve.invoke Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception

 org.springframework.web.multipart.MultipartException: Could not parse multipart servlet request; nested exception is java.io.IOException: org.apache.tomcat.util.http.fileupload.FileUploadBase$IOFileUploadException: Processing of multipart/form-data request failed. /var/cache/tomcat8/work/Catalina/localhost/ROOT/upload_46c524e4_8548_4273_9717_ff2e98ca4a2d_00000000.tmp (Permission denied)

        at org.springframework.web.multipart.support.StandardMultipartHttpServletRequest.parseRequest (StandardMultipartHttpServletRequest.java:112)

...


그리고 status 200 이지만 빈화면 나오면서 발생한 로그...


[https-jsse-nio-8443-exec-9] ERROR o.s.b.w.s.ErrorPageFilter - Cannot forward to error page for request [/manage/admin/9] as the response has already been committed. As a result, the response may have the wrong status code. If your application is running on WebSphere Application Server you may be able to resolve this problem by setting com.ibm.ws.webcontainer.invokeFlushAfterService to false


조금 당황스러웠다. 평소에 보던 오류도 아니고... 한가지 힌트는 Permission denied 하난데. 히스토리를 보니 인증서 갱신하고 몇번 톰캣 재부팅을 하는 과정에서 사용자 권한이 좀 꼬인것 같았다. 문제되는 파일들의 소유자가 모두 ROOT 로 실행되어 있던것이 문제. 후... 인증서 갱신하고 톰캣 재부팅만 하면 되는건데 뭐 때문에 ROOT 로 톰캣을 실행시켰을까 ㅡ.ㅡ 톰캣 재부팅으로도 문제는 해결되지 않았다. 이 파일들을 다 일일히 어떻게 찾아서 지우나 고민하던 중 빛과 같은 한 줄기 로그.


[localhost-startStop-1] ERROR o.a.j.EmbeddedServletOptions - The scratchDir you specified: [/usr/share/tomcat8/work/Catalina/localhost/ROOT] is unusable.



캐쉬 디렉토리 같은데 /usr/share/tomcat8/work/Catalina/localhost/ROOT 이 디렉토리를 삭제하니 문제가 해결됐다.

오예~


WRITTEN BY
손가락귀신
정신 못차리면, 벌 받는다.

,

Intellij 한글 깨짐

Daily/Prog 2019. 10. 24. 21:11

이 거지같은 한글 깨짐은 20년 동안 사라지질 않네.ㅋㅋ (한글 디스 아님!)




사건발단


1. 오늘 몇년전 프로젝트를 열었다가 IntelliJ 콘솔에서 우연히 한글깨짐을 발견했다.

2. 최근 프로젝트에서도 한글을 써보니 콘솔에서 한글깨짐이 발생했다. (한동안 영어만 쓰고 살았음...ㅡㅡv)

3. gradle 의 clean 작업을 실행하면서 build.gradle 의 한글이 깨졌으니 tomcat 의 문제는 아니다.

4. IntelliJ 가 실행될 때의 어느 곳에 있는 자바 옵션이 실행되는지를 체크하고 인코딩을 설정해야 한다. -Dfile.encoding=UTF-8



삽질


1. 시스템 환경변수 세팅

2. C:\Program Files\JetBrains\IntelliJ IDEA 2019.2.1\bin 의 idea.exe.vmoptions 과 idea64.exe.vmoptions

3. IntelliJ - Run/Debug Configurations - VM options


다 필요없음...



해결


IntelliJ - Help -  Edit Custom VM Options...  메뉴 열고  -Dfile.encoding=UTF-8  를 추가하여 해결.

파일위치는 C:\Users\username\.IntelliJIdea2019.2\config\idea64.exe.vmoption

오우... 사용자마다 세팅이 가능하게 되어 있나... 아니면 IntelliJ 사용자 등록하면서 별도 세팅이 되었던지...

암튼 이렇게 해결~~






WRITTEN BY
손가락귀신
정신 못차리면, 벌 받는다.

,

tomcat 로그 catalina.out 에서 무수히 발견된 로그들.


30-Sep-2019 09:49:42.578 SEVERE [http-nio-8080-exec-32] org.apache.coyote.http11.Http11Processor.service Error processing request

        java.lang.NullPointerException


org.apache.coyote.http11.Http11Processor 는 http 요청을 처리한다. 위 로그는 server.xml 에 정의된 defaulthostname 이 null 이기 때문에 발생한 예외이다. server.xml 에는 아래와 같은 설정이 기본적으로 되어 있다.


<Engine name="Catalina" defaultHost="localhost">

    <Host name="localhost" appBase="webapps" unpackWARs="true" autoDeploy="true"></Host>


Hostname 을 localhost 그대로 사용할 경우엔 예외가 발생하지 않는다. Hostname 을 변경하고 서버가 직접 요청 받는 경우도 발생하지 않는다. Hostname 을 변경하도나서 로드밸런스 등으로 전달되는 경우 특히 발생하는 것 같다. 예외 발생 빈도는 심하지 않고 시점은 불규칙해서 알 수 없다.


저 예외를 없애려면 Catalina 안에 <Host name="localhost"></Host> 를 한줄 추가하면 해결된다.




WRITTEN BY
손가락귀신
정신 못차리면, 벌 받는다.

,

s3 업로드시 발생하는 로그.


Sep 30 03:29:32 ip-172-50-10-72 tomcat8: 2019-09-30 12:29:32.717  WARN 27104 --- [io-8443-exec-65] c.amazonaws.services.s3.AmazonS3Client   : No content length specified for stream data.  Stream contents will be buffered in memory and could result in out of memory errors.


s3 업로드시 setContentLength 를 지정하지 않거나 IOUtils.toByteArray(inputStream) 사용시 inputStream 이 소진되어 발생하는 경고이며 다음과 같이 수정이 필요하다.


byte[] bytes = IOUtils.toByteArray(inputStream);
objectMetadata.setContentLength(bytes.length);
ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes);
 
PutObjectRequest putObjectRequest = new PutObjectRequest(bucket, key, byteArrayInputStream, objectMetadata);
client.putObject(putObjectRequest);
cs




WRITTEN BY
손가락귀신
정신 못차리면, 벌 받는다.

,

웃픈 tomcat 서버

Daily/Prog 2019. 8. 6. 20:55



오늘의 웃픈 에피소드.


회사에는 구성원이 있고 그들의 역할도 있고 그에 따른 책임도 있고 단계도 절차도 있다. 그것은 때로는 많은 사람들을 피곤하게 하고 더 많은 시간이 소요되는 비효율적일 때도 있다. 나에게도 이런 상황이 닥쳤지만 이 상황을 효율적으로 바꾸려면 그들이 똑똑해지거나 그들의 역할을 누군가가 도와주는 방법이 있다. 하지만 그들이 하루 아침에 똑똑해질 수는 없고 그들의 역할에 내가 침범하면 불쾌해 할 것이다. 그래서 난 그냥 비효율적으로 있기로 했다.


개발서버가 필요했다. 필요한건 tomcat 밖에 없었다. 어딘가에게 요청했다. 이 어딘가는 앞으로 열심히 서버를 만들, 서버 전문가가 되려고 준비하는 집단이다. 곧 ip 와 pem 키가 전달됐다.


putty 접속을 했는데 user 가 centos. 갑자기? 5년 동안 amazon 이나 ubuntu 만 썼었는데 갑자기 centos7 이라... 뭐 tomcat 만 쓰면되니 상관없지. 


server.xml 설정하려는데 뭐꼬 파일 어데갔노. 검색해보니 centos 홈디렉토리에다가 tomcat 을 바이너리 설치해놨네... ㅋㅋ (여기서 살짝 당황) 뭐 돌아가기만 하면 되니.


근데 뭔가 이상... 버전을 보니 tomcat7 두둥~. 이게 머하자는... 뭐 tomcat7 을 써도 되지만 굳이? 서버 관리자들이란 지들이 만드는거에 태클거는거를 좋아하지 않지만 그래도 이것만은... 정중하게 부탁했다. tomcat8 깔아줘요잉~ 곧 피드백이 왔다.


server.xml 바꾸고 톰캣 재부팅하려고 하는데 바이너리 설치해놔서 아무것도 되는게 없음. /etc/init.d, chkconfig, service, (아.. 아재...ㅋㅋ) 여기부터 슬슬 짜증이 났음. (패키지 설치했으면 끝날일을 더럽게 귀찮게 하네...)


tomcat.service 만들고 구동 user 를 tomcat 으로 지정하는 순간이 바로 삽질의 시작.


# systemctl start tomcat

Job for tomcat.service failed because the control process exited with error code. See "systemctl status tomcat.service" and "journalctl -xe" for details.


# systemctl status tomcat

Process: 14 ExecStart=/home/centos/tomcat8/bin/startup.sh (code=exited, status=203/EXEC)

tomcat.service - Apache Tomcat Web Application Container

Loaded: loaded (/etc/systemd/system/tomcat.service; enabled; vendor preset: disabled)

Active: activating (auto-restart) (Result: exit-code) 


systemd[1]: Starting Apache Tomcat Web Application Container...

systemd[1]: tomcat.service: Control process exited, code=exited status=203

systemd[1]: Failed to start Apache Tomcat Web Application Container.

systemd[1]: tomcat.service: Unit entered failed state.

systemd[1]: tomcat.service: Failed with result 'exit-code'.


# journalctl -xe

tomcat.service: Failed at step EXEC spawning /home/centos/tomcat8/bin/startup.sh: Permission denied


응?? 웬 퍼미션 문제. tomcat 홈디렉토리는 tomcat 이 소유자였고 bin 디렉토리의 명령어들 역시 실행 권한이 주어져 있었다. 음... 뭐가 문제일까. 일단 권한 문제가 없는 것은 확인했고 저 203 code 의 에러가 몹시 거슬렸다. 검색해 보니 java 버전 확인과 실행 권한을 주라는 말이 대부분이었다. 일단 생성한 tomcat.service 파일을 꼼꼼히 봤다. 모든 경로, 모든 설정이 문제 없었다.


여기서 갑자기 든 생각. 이미 root 권한으로 생성된 webapps 디렉토리, log 파일들이 구동시 권한문제를 일으킬 수도 있다는 생각에 그것들도 다 삭제했다. 하지만  이놈에 tomcat 은 실행될 생각이 없다.


tomcat user 를 root 로 바꾸니 정상구동. tomcat 으로 바꾸면 에러. 어짜피 해볼만한건 이제 다해봤고 바이너리 설치니 디렉토리를 다른데로 옮겨보자 안되면 재설치하고... 그러고 /usr/local 로 옮겼는데 두둥!!! 된다!!! 뭔데 이거. 다른 사용자 디렉토리에 톰캣 설치한게 문제였던거야.


아니 의심은 했는데, 사용자 디렉토리에 톰캣 풀어논거 보고 어이가 없긴 했는데, 권한만 주면 문제없을꺼라고 생각한 내가 문제인건가? 지금도 너무 어이없음. 내가 초보자 된 느낌. 이것저것 다해서 총 6시간 삽질. 일단 되는건 봤고 너무 지저분해져서 똑같은 os 이미지로 구동시켜서 tomcat 서버 하나 만들어봤다.


yum update

yum search java-1

yum install java-1.8.0-openjdk

yum install wget

wget https://harbottle.gitlab.io/harbottle-main/7/x86_64/harbottle-main-release.rpm

rpm -Uvh harbottle-main-release.rpm

yum install tomcat8


10분 걸렸으려나... 이렇게 해줬으면 이미 끝났을 일을 가지고... ㅂㄷㅂㄷ. 이렇게 줘놓고 너희들은 편하게 쉬고 있었겠지. 후아~ 다음번 서버 요청할게 더 무섭다. 위처럼 타이핑 할 명령어들까지 전달을 해줘야 하나. 그런거야??


그래도 이런 이상한 세팅 때문에 6시간 동안 하나 배웠다. 다른 사용자 디렉토리에서 톰캣은 구동되지 않는다는 사실. 죽기전에 한번 써먹을 데가 있으려나...




WRITTEN BY
손가락귀신
정신 못차리면, 벌 받는다.

,