대부분의 SNS 마다 로그인/글쓰기/글읽기 등을 위한 API 를 제공한다. 또한 각 SNS 에서 제공하는 여러 토큰 유형을 각 서비스에 맞게 활용하여야 한다. 흔히 게임이나 웹서비스에서 이미 가입된 SNS 계정으로 로그인하는 방식이 일반적인 SNS 사용자 인증 방식이다. 각 사용자를 로그인 시켜, 해당 사용자의 정보를 가져오는 것이다. 예를 들어, A 라는 서비스를 사용시 페이스북 계정으로 로그인하면, 페이스북으로부터 로그인한(인증된) 사용자의 정보가 A 서비스로 전달되는, OAuth 라는 인증 방식을 주로 사용한다. 즉, 사용자의 데이터(개인 정보 등) 를 읽어올 때, 사용자 액세스 토큰을 생성하면 된다.
그렇다면 내 사이트에 뿔뿔히 흩어진 SNS 의 내 게시물들을 표시하고 싶다면 어떻게 해야 할까. 위 사용자 액세스 토큰을 취득하기 위해, 매번 각각의 SNS 로그인 화면에서 id/pw 를 입력할 수는 없다. 이 때는 각 SNS 의 개발자 모드에서 앱을 생성하고 발급된 client_id / client_secret 를 전달하는 식으로 앱 액세스 토큰을 발급받아 사용하면 된다. 아래는 SNS crawling 을 위해 로그인을 하지 않고 각 계정의 데이터를 가져온 Java 코드의 예이다. (without redirect_url)
Facebook
서비스가 Spring 기반이라 Spring Social Facebook 을 사용해 보려 했으나, 사용자 인증 방식 밖에 안된다. 즉, 로그인 인증을 거치게 된다. 페이스북 API 버전도 너무 오래된 걸 사용하고 있고... 다음처럼 페이스북 그래프 API 를 사용하여 앱 액세스 토큰을 발급받는다.
GET /oauth/access_token ?client_id={app-id} &client_secret={app-secret} &grant_type=client_credentials Host: graph.facebook.com | cs |
데이터를 읽어오거나 할 때는, 각 파라미터 끝에 access_token 만 추가하면 된다.
GET /v2.11/me/feed?access_token={access_token} Host: graph.facebook.com | cs |
반환된 데이터에서 paging.next 가 없어질 때까지 계속 돌리면 모든 피드 데이터를 가져올 수 있다.
Twitter
트위터는 조금 더 까다롭다. client_id / client_secret 를 전달하는데 Base64 인코딩을 하여 Authorization 헤더에 담아 POST 방식으로 보낸다. bearer access_token 이 반환되며, 이 토큰을 API 요청시 Authorization 헤더에 담아 요청하면 된다. 이 과정을 간단하게 해결해주는 라이브러리를 twitter4j 에서 제공한다.
gradle 등의 빌드 툴로 twitter4j 를 가져온다.
compile group: 'org.twitter4j', name: 'twitter4j-http2-support', version: '4.0.6' | cs |
그리고 토큰을 가져와 twitter 인스턴스를 만드는 코드이다. consumerKey 와 consumerSecret 만 넣으면 된다.
ConfigurationBuilder cb = new ConfigurationBuilder(); cb.setApplicationOnlyAuthEnabled(true); cb.setOAuthConsumerKey(consumerKey); cb.setOAuthConsumerSecret(consumerSecret); try { OAuth2Token token = new TwitterFactory(cb.build()).getInstance().getOAuth2Token(); cb = new ConfigurationBuilder(); cb.setApplicationOnlyAuthEnabled(true); cb.setOAuthConsumerKey(consumerKey); cb.setOAuthConsumerSecret(consumerSecret); cb.setOAuth2TokenType(token.getTokenType()); cb.setOAuth2AccessToken(token.getAccessToken()); twitter = new TwitterFactory(cb.build()).getInstance(); } catch (TwitterException e) { e.printStackTrace(); } | cs |
반환된 데이터에서 page + 1 로 반환되는 데이터가 없을 때까지 계속 돌리면 모든 트윗을 가져올 수 있다.
Youtube
유투브도 OAuth 2.0 기반의 인증 방식을 사용하지만 약간의 추가 설정이 필요하다. 우선 유투브 API 를 사용하려면 구글 개발자 콘솔에서 라이브러리의 YouTube Data API v3 을 활성화 해야 한다. 그리고 사용자 인증 정보 메뉴에서 서비스 계정(Service account) 키를 생성하고, 비공개 키가 포함된 정보를 json 파일로 다운받아야 한다. 서비스 계정은 사용자 정보에 액세스하지 않는 API를 호출하는 애플리케이션에서 사용된다.
표준 라이브러리를 사용하여 구현해 본다.
compile group: 'com.google.apis', name: 'google-api-services-youtube', version: 'v3-rev188-1.23.0' compile group: 'com.google.oauth-client', name: 'google-oauth-client-java6', version: '1.23.0' compile group: 'com.google.oauth-client', name: 'google-oauth-client-jetty', version: '1.23.0' | cs |
그리고 YouTube 인스턴스를 만들어 데이터를 가져온다.
public static final HttpTransport HTTP_TRANSPORT = new NetHttpTransport(); public static final JsonFactory JSON_FACTORY = new JacksonFactory(); private YouTube youtube; public YoutubeService() { List<String> scopes = Lists.newArrayList("https://www.googleapis.com/auth/youtube.readonly"); GoogleCredential credential = null; try { credential = GoogleCredential.fromStream(YoutubeService.class .getResourceAsStream("/service-account.json")).createScoped(scopes); } catch (IOException e) { e.printStackTrace(); } // This object is used to make YouTube Data API requests. youtube = new YouTube.Builder(HTTP_TRANSPORT, JSON_FACTORY, credential) .setApplicationName("oops4u").build(); } | cs |
반환된 데이터에서 nextPageToken 이 없어질 때까지 계속 돌리면 모든 동영상 데이터를 가져올 수 있다.
Instagram
인스타그램은... 현재 인증 및 권한 부여를 위해 OAuth 2.0 을 사용중이나, 권한 부여 과정에서 return URL 을 필요로 하고 있으며 다른 대안은 없다. 그러나... 이걸 또 해낸 사람들이 있네.
https://github.com/postaddictme/instagram-java-scraper
https://jitpack.io/#postaddictme/instagram-java-scraper/0.3.0
인증이 필요없는 장점. 옛날 endpoint 를 가지고 있긴 한데 막힐 때까지는 쓸만할 듯.
OkHttpClient okHttpClient = new OkHttpClient(); Instagram instagram = new Instagram(okHttpClient); | cs |
계정 게시물 수 가져오고 그만큼 미디어 겟하면 끝.
-----------------------------------------------------------------------------------
2018년 10월 - instagram 정책변경으로 위 api 막힘 - instagram4j 대체.
// https://mvnrepository.com/artifact/org.brunocvcunha.instagram4j/instagram4j compile ('org.brunocvcunha.instagram4j:instagram4j:1.7') { exclude group: 'org.bytedeco' } | cs |
