'Twitter'에 해당하는 글 4건

SNS crawling

Tool/OAuth 2017. 12. 19. 00:29

대부분의 SNS 마다 로그인/글쓰기/글읽기 등을 위한 API 를 제공한다. 또한 각 SNS 에서 제공하는 여러 토큰 유형을 각 서비스에 맞게 활용하여야 한다. 흔히 게임이나 웹서비스에서 이미 가입된 SNS 계정으로 로그인하는 방식이 일반적인 SNS 사용자 인증 방식이다. 각 사용자를 로그인 시켜, 해당 사용자의 정보를 가져오는 것이다. 예를 들어, A 라는 서비스를 사용시 페이스북 계정으로 로그인하면, 페이스북으로부터 로그인한(인증된) 사용자의 정보가 A 서비스로 전달되는, OAuth 라는 인증 방식을 주로 사용한다. 즉, 사용자의 데이터(개인 정보 등) 를 읽어올 때, 사용자 액세스 토큰을 생성하면 된다.


그렇다면 내 사이트에 뿔뿔히 흩어진 SNS 의 내 게시물들을 표시하고 싶다면 어떻게 해야 할까. 위 사용자 액세스 토큰을 취득하기 위해, 매번 각각의 SNS 로그인 화면에서 id/pw 를 입력할 수는 없다. 이 때는 각 SNS 의 개발자 모드에서 앱을 생성하고 발급된 client_id / client_secret 를 전달하는 식으로 앱 액세스 토큰을 발급받아 사용하면 된다. 아래는 SNS crawling 을 위해 로그인을 하지 않고 각 계정의 데이터를 가져온 Java 코드의 예이다. (without redirect_url)



Facebook


서비스가 Spring 기반이라 Spring Social Facebook 을 사용해 보려 했으나, 사용자 인증 방식 밖에 안된다. 즉, 로그인 인증을 거치게 된다. 페이스북 API 버전도 너무 오래된 걸 사용하고 있고... 다음처럼 페이스북 그래프 API 를 사용하여 앱 액세스 토큰을 발급받는다.


GET /oauth/access_token
    ?client_id={app-id}
    &client_secret={app-secret}
    &grant_type=client_credentials
Host: graph.facebook.com
cs


데이터를 읽어오거나 할 때는, 각 파라미터 끝에 access_token 만 추가하면 된다.


GET /v2.11/me/feed?access_token={access_token}
Host: graph.facebook.com
cs


반환된 데이터에서 paging.next 가 없어질 때까지 계속 돌리면 모든 피드 데이터를 가져올 수 있다.



Twitter


트위터는 조금 더 까다롭다. client_id / client_secret 를 전달하는데 Base64 인코딩을 하여 Authorization 헤더에 담아 POST 방식으로 보낸다. bearer access_token 이 반환되며, 이 토큰을 API 요청시 Authorization 헤더에 담아 요청하면 된다. 이 과정을 간단하게 해결해주는 라이브러리를 twitter4j 에서 제공한다.


gradle 등의 빌드 툴로 twitter4j 를 가져온다.


compile group: 'org.twitter4j', name: 'twitter4j-http2-support', version: '4.0.6'
cs


그리고 토큰을 가져와 twitter 인스턴스를 만드는 코드이다. consumerKey 와 consumerSecret 만 넣으면 된다.


ConfigurationBuilder cb = new ConfigurationBuilder();
 
cb.setApplicationOnlyAuthEnabled(true);
cb.setOAuthConsumerKey(consumerKey);
cb.setOAuthConsumerSecret(consumerSecret);
 
try {
    OAuth2Token token = new TwitterFactory(cb.build()).getInstance().getOAuth2Token();
 
    cb = new ConfigurationBuilder();
    cb.setApplicationOnlyAuthEnabled(true);
    cb.setOAuthConsumerKey(consumerKey);
    cb.setOAuthConsumerSecret(consumerSecret);
    cb.setOAuth2TokenType(token.getTokenType());
    cb.setOAuth2AccessToken(token.getAccessToken());
 
    twitter = new TwitterFactory(cb.build()).getInstance();
} catch (TwitterException e) {
    e.printStackTrace();
}
cs


반환된 데이터에서 page + 1 로 반환되는 데이터가 없을 때까지 계속 돌리면 모든 트윗을 가져올 수 있다.



Youtube


유투브도 OAuth 2.0 기반의 인증 방식을 사용하지만 약간의 추가 설정이 필요하다. 우선 유투브 API 를 사용하려면 구글 개발자 콘솔에서 라이브러리의 YouTube Data API v3 을 활성화 해야 한다. 그리고 사용자 인증 정보 메뉴에서 서비스 계정(Service account) 키를 생성하고, 비공개 키가 포함된 정보를 json 파일로 다운받아야 한다. 서비스 계정은 사용자 정보에 액세스하지 않는 API를 호출하는 애플리케이션에서 사용된다.


표준 라이브러리를 사용하여 구현해 본다.


compile group: 'com.google.apis', name: 'google-api-services-youtube', version: 'v3-rev188-1.23.0'
compile group: 'com.google.oauth-client', name: 'google-oauth-client-java6', version: '1.23.0'
compile group: 'com.google.oauth-client', name: 'google-oauth-client-jetty', version: '1.23.0'
cs


그리고 YouTube 인스턴스를 만들어 데이터를 가져온다.


public static final HttpTransport HTTP_TRANSPORT = new NetHttpTransport();
public static final JsonFactory JSON_FACTORY = new JacksonFactory();
 
private YouTube youtube;
 
public YoutubeService() {
    List<String> scopes = Lists.newArrayList("https://www.googleapis.com/auth/youtube.readonly");
 
    GoogleCredential credential = null;
    try {
        credential = GoogleCredential.fromStream(YoutubeService.class
                .getResourceAsStream("/service-account.json")).createScoped(scopes);
    } catch (IOException e) {
        e.printStackTrace();
    }
 
    // This object is used to make YouTube Data API requests.
    youtube = new YouTube.Builder(HTTP_TRANSPORT, JSON_FACTORY, credential)
            .setApplicationName("oops4u").build();
}
cs


반환된 데이터에서 nextPageToken 이 없어질 때까지 계속 돌리면 모든 동영상 데이터를 가져올 수 있다.



Instagram


인스타그램은... 현재 인증 및 권한 부여를 위해 OAuth 2.0 을 사용중이나, 권한 부여 과정에서 return URL 을 필요로 하고 있으며 다른 대안은 없다. 그러나... 이걸 또 해낸 사람들이 있네.


https://github.com/postaddictme/instagram-java-scraper

https://jitpack.io/#postaddictme/instagram-java-scraper/0.3.0


인증이 필요없는 장점. 옛날 endpoint 를 가지고 있긴 한데 막힐 때까지는 쓸만할 듯.


OkHttpClient okHttpClient = new OkHttpClient();
Instagram instagram = new Instagram(okHttpClient);
cs


계정 게시물 수 가져오고 그만큼 미디어 겟하면 끝.



-----------------------------------------------------------------------------------


2018년 10월 - instagram 정책변경으로 위 api 막힘 - instagram4j 대체.


// https://mvnrepository.com/artifact/org.brunocvcunha.instagram4j/instagram4j
compile ('org.brunocvcunha.instagram4j:instagram4j:1.7') {
    exclude group: 'org.bytedeco'
}
cs


저작자표시
WRITTEN BY
손가락귀신
정신 못차리면, 벌 받는다.
,

twitter full_text

Daily/Prog 2017. 12. 2. 01:39



트위터 크롤링 중 Iimeline 을 가져오는 과정에서 Media(이미지나 동영상) 이 있는데도 불구하고 extended_entities 가 넘어오지 않는 현상이 발생했다.

검색 결과 truncated 가 true 일 때, 즉 text 가 140 자 이상일 때, 이렇게 지맘대로 데이터를 짤라서 반환한다고 한다.

해결 방법은 GET 요청시 tweet_mode=extended 파라미터를 추가하면 데이터를 자르지 않고 온전히 보낸다는데, twitter4j 라이브러리에 이를 어떻게 붙일지...


하지만 나 같이 불쌍한 중생을 위해 이걸 또 만들어 놓은 분이 계시다.


https://gist.github.com/nishemon 님이 만들어 놓은 WorkaroundLongTweetHttpClientImpl.java 파일 하나만 추가하면 끝!


쌩유 베리 감솨~



저작자표시
WRITTEN BY
손가락귀신
정신 못차리면, 벌 받는다.
,

no token available

Daily/Prog 2016. 8. 9. 12:34

모든 테스트를 마치고 ELB 붙인뒤 트위터 로그인 실패 에러


HTTP Status 500

java.lang.illegalstateexception: no token available


토큰이 유효하지 않다...

유효한 정보를 가져왔는데...

externalTwitterProfile?oauth_token=YEp0-BBBAAAAwQE8AAABVmzb1m4&oauth_verifier=AAAi1Lels6ANy5u8YjAsBxnr7JoHg1dA


아래 구문에서 OAuthAccessToken 을 못가져온다.

accessToken = twitter.getOAuthAccessToken(requestToken, oauthVerifier);


불꽃 검색중 세션을 유지하지 못한 경우 발생할 수 있다는 것을 확인했다.

세션 유지를 위해 ELB 에 Sticky Session 를 활성화 하여 해결.


저작자표시
WRITTEN BY
손가락귀신
정신 못차리면, 벌 받는다.
,

Twitter OAuth

Tool/OAuth 2015. 12. 30. 08:13

현재 트위터의 API v1.1 의 인증 프로토콜은 OAuth 1.0A 를 사용 중이다.

OAuth 는 2010년 IETF OAuth 워킹그룹에 의해 IETF 표준 프로토콜로 발표 되었고, 세계 많은 인터넷 서비스 기업들에서 표준 인증 방식으로 OAuth 를 사용하고 있다. 

OAuth 인증 방식을 이용하면 이 인증을 공유하는 어플리케이션(웹, 모바일, 데스크탑)끼리는 별도의 인증이 필요 없다.

현재 OAuth2.0 버전까지 나와 있고 2.0버전은 1.0버전과 호환되지는 않지만 더 많은 장점이 있다.



OAuth 1.0A


OAuth 에 등장하는 출연진 들이다.


  • service provider (서비스 제공자) : 트위터처럼 OAuth 인증 방식을 이용하여 API 등을 제공하는 웹 어플리케이션
  • consumer (소비자) : 서비스 제공자의 API 를 이용할 어플리케이션
  • user (사용자) : 서비스 제공자와 소비자에 계정을 가지고 있는 사용자


OAuth 의 목적은 사용자가 소비자 어플리케이션에서 서비스 제공자의 어플리케이션의 권한인 Access Token 을 획득하는 것이다.

이를 위한 전제 조건으로는


  • 소비자가 서비스 제공자에 가입하여 인증에 필요한 consumer key 와 consumer secret 를 획득해야 한다.
  • 사용자는 서비스 제공자에 가입이 되어 있어야 한다.




이제 위 그림을 살펴보면 다음과 같다.


  1. 사용자가 서비스 제공자 권한이 필요한 행위를 하려고 하면 소바자가 서비스 제공자에게 Request Token 을 요청한다.
    이 Request Token 은 사용자 접근 권한을 인증 받기 위해 필요하며 뒤에 Access Token 과 교환한다.
  2. 서비스 제공자는 consumer key 와 서명등을 확인하여 소비자에게 Request Token 을 발급한다.
  3. 소비자는 서비스 제공자로 사용자를 보내 로그인 및 접근 권한 요청 등을 승인하게 한다.
  4. 소비자가 접근 권한을 승인했으면 다시 소비자로 돌려보낸다. 만약 접근 권한을 승인하지 않았으면 다시 A 로 돌아간다.
  5. 소비자는 Request Token 을 포함하여 서비스 제공자에게 Access Token 을 요청한다.
  6. 서비스 제공자는 Access Token 을 발급한다.
  7. 소비자는 발급된 사용자 Access Token 으로 서비스 제공자의 API 를 이용한다.  


위 단계에서 서비스 제공자는 Request Token 과 Access Token 만 발급 해준다.

소비자는  Request Token 과 Access Token 요청, 사용자 접근 권한 요청을 한다.

사용자는 서비스 제공자에 로그인 / 사용자 접근 권한 승인만 한다.


OAuth 1.0A 를 채택한 서비스들의 방식은 모두 동일하다.

트위터도 마찬가지로 Access Token 을 획득해야만 이용 가능한 API 들이 대부분이다.

또한 위에서 처럼 서비스 제공자 / 소비자 / 사용자의 조합에서 사용자는 전혀 관련없는 Applicatoin-only 인증의 경우 사용자 인증은 필요없다.

어플리케이션용 인증이 필요한 API 의 경우 기간내 호출 횟수에 제한을 두는 것이 특징이다.



OAuth1.0A Document - http://oauth.net/core/1.0a/


저작자표시
WRITTEN BY
손가락귀신
정신 못차리면, 벌 받는다.
,