JerryMay 17#AI #LLM구글 2024 I/OGemini, Gemma 모델 업데이트Veo, Imagen, Music AI Sandbox 등 멀티모달 서비스 업데이트Synth ID 기능 (AI 생성 여부 판단) 업데이트🔗 https://blog.google/intl/ko-kr/products/google-io-2024-keynote-sundar-pichai/ [I/O 2024] 구글 I/O 2024: 새로운 시대를 위한 I/O이 블로그는 구글 The Keyword 블로그(영문)에서도 확인하실 수 있습니다.편집자 주: 아래는 I/O 2024에서 발표된 순다 피차이 구글 CEO의 발표를 편집, 무대에서 발표한 내용을 더 많이 포함하도록 수정한 녹취록입니다. 전체 발표 내용은 자료집에서 확인하세요.구글은 이제 본격적인 제미나...blog.googleReactionCommentShare
JerryMay 17#AI #LLMGPT-4o (omni) 출시음성과 영상 인식 등 멀티모달(multi-modal) 능력이 크게 향상🔗 https://openai.com/index/hello-gpt-4o/ https://openai.com/index/hello-gpt-4o/openai.comReactionCommentShare
JerryMay 17#AI #LLM하이브리드 벡터 검색 지원 서비스 Invector🔗 https://invector.co/ InvectorAI 검색 / 벡터 서치 / 전 세계에서 유일하게 한국어를 잘하는 검색엔진 / 검색엔진 개발 툴 지원invector.coReactionCommentShare
JerryMay 13#AI #LLMOpenAI, 한국 시간 5월 14일 새벽 2시 발표 예정Sam Altman은 GPT-5나 검색 엔진의 발표는 아니지만, 마법같은 무언가가 발표된다고 언급함대중들은 Sam Altman이 SNS에서 영화 Her에 대한 반응을 보인 것을 토대로, 음성 데이터과 관련된 서비스를 출시할 것이라고 예상🔗https://community.openai.com/t/livestream-openai-product-announcements-on-monday-may-13/742070 Livestream: OpenAI product announcements on Monday, May 13This is our little hype thread moving forward to the event. What do you expect to be revealed? https://twitter.com/sama/status/1788989777452408943 OpenAI is low balling this event. A little bit. Add the event to your calendar.community.openai.comReactionCommentShare
JerryMay 12#AI #LLM #RAGLLMSherpa: Rule-based PDF Parser모델이 아닌 룰 기반의 PDF Parser모델에 비해 정확하고, 빠른 Parsing이 가능RAG에 특화된 Parser🔗 https://github.com/nlmatics/llmsherpa 🔗 https://github.com/nlmatics/nlm-ingestor 🔗 https://python.langchain.com/v0.1/docs/integrations/document_loaders/llmsherpa/ LLM Sherpa | 🦜️🔗 LangChainThis notebook covers how to use LLM Sherpa to load files of many types. LLM Sherpa supports different file formats including DOCX, PPTX, HTML, TXT, and XML.python.langchain.comGitHub - nlmatics/llmsherpa: Developer APIs to Accelerate LLM ProjectsDeveloper APIs to Accelerate LLM Projects. Contribute to nlmatics/llmsherpa development by creating an account on GitHub.github.comGitHub - nlmatics/nlm-ingestor: This repo provides the server side code for llmsherpa API to connect. It includes parsers for various file formats.This repo provides the server side code for llmsherpa API to connect. It includes parsers for various file formats. - nlmatics/nlm-ingestorgithub.comReactionCommentShare
JerryMay 11#Graph그래프 분석의 혁신: NVIDIA cuGraph 가속화를 통한 차세대 아키텍처그래프 분석은 노드나 엣지의 수가 증가할수록 기하급수적으로 함께 증가하는 연산량으로 종종 어려움을 겪음cuGraph는 그래프 관련 연산을 NVIDIA GPU로 가속화할 수 있게 함cuGraph를 포함하는 자체 제작 그래프 분석 프레임워크인 RAPIDS를 이용할 수 있음PyG(Pytorch-Geometric), DGL(Deep Graph Library), TigerGraph, Memgraph 등 다양한 분석이나 그래프 저장소와도 연동됨🔗 https://developer.nvidia.com/blog/revolutionizing-graph-analytics-next-gen-architecture-with-nvidia-cugraph-acceleration/ Revolutionizing Graph Analytics: Next-Gen Architecture with NVIDIA cuGraph Acceleration | NVIDIA Technical BlogIn our previous exploration of graph analytics, we uncovered the transformative power of GPU-CPU fusion using NVIDIA cuGraph. Building upon those insights, we now introduce a revolutionary new…developer.nvidia.comReactionCommentShare
JerryMay 11#AI #LLMOpenAI, 모델 구성 방식(Model Spec) 공개OpenAI가 어떻게 LLM에게 답변하는 방식을 지정하는 지, 즉 'instruction'에 대한 spec이 주 내용모델 매개변수 규모나 아키텍처 대한 spec 내용은 아님🔗 https://openai.com/index/introducing-the-model-spec/ https://openai.com/index/introducing-the-model-spec/openai.comReactionCommentShare
JerryMay 8#AI #LLM신경망 압축 텍스트로 LLM 학습시키기 (Training LLMs over Neurally Compressed Text)🔗 https://arxiv.org/pdf/2404.03626 ReactionCommentShare
JerryMay 8#AI #LLMPhi-3 기술 보고서 (Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone)🔗 https://arxiv.org/pdf/2404.14219 ReactionCommentShare
JerryMay 8#AI #LLM #Graph ScrapeGraphAI: LLM과 그래프 로직을 사용한 웹 스크래핑🔗 https://scrapegraph-doc.onrender.com/ 🔗 https://github.com/VinciGit00/Scrapegraph-ai GitHub - VinciGit00/Scrapegraph-ai: Python scraper based on AIPython scraper based on AI. Contribute to VinciGit00/Scrapegraph-ai development by creating an account on GitHub.github.comHello from Scrapegraph-ai | Scrapegraph-aiOfficial documentation of Scrapegraph-aiscrapegraph-doc.onrender.comReactionCommentShare
JerryMay 6#AI #LLM #Graph Diffbot데이터로부터 지식 그래프를 간편히 구축할 수 있는 Natural Language API 제공무료 및 유료 요금제 존재LangChain과 연동 지원🔗 https://docs.diffbot.com/reference/introduction-to-natural-language-api Introduction to Natural Language APIExtract entities (e.g., people, organizations, products) and data about them (e.g., sentiment, relationships) from raw textdocs.diffbot.comReactionCommentShare
JerryMay 5#AI #LLM LLM을 텍스트 압축(text compression)에 사용하기🔗 https://o565.com/llm-text-compression/ DRINK ME: (Ab)Using a LLM to compress textIntroduction Large language models are trained on huge datasets of text to learn the relationships and contexts of words within larger documents. These relationships are what allows the model to generate text. Recently I've read concerns about LLMs being trained on copyrighted text and reproducing it. This got me thinking:o565.comReactionCommentShare
JerryMay 1#AIRainbow Array Algebra신경망이나 트랜스포머(transformers) 아키텍처 이해에 필요한 선형대수 지식을 시각화로 알기 쉽게 학습할 수 있음🔗 https://math.tali.link/rainbow-array-algebra/#introduction Rainbow array algebraI’ve added a new section on the relation between bubbles and functional programming.math.tali.linkReactionCommentShare
JerryMay 1#AI #LLMLLM VisualizationLLM의 기본 아키텍처인 트랜스포머(transformers)의 구조를 시각화로 알기 쉽게 표현🔗 https://bbycroft.net/llm 🔗 https://news.ycombinator.com/item?id=38505211 LLM Visualization | Hacker Newsnews.ycombinator.comLLM VisualizationA 3D animated visualization of an LLM with a walkthrough.bbycroft.netReactionCommentShare
JerryMay 1#AI #LLMAI 기반 스타트업을 위한 데이터 수집 전략🔗 https://news.hada.io/topic?id=14556 (번역 및 요약)🔗 https://press.airstreet.com/p/data-acquisition-strategies-for-ai (원문)Data acquisition strategies for AI start-ups in 2024Back in 2016, I came across a prescient guide on data acquisition strategies for AI startups written by Moritz Mueller-Freitag, then co-founder of Twenty Billion Neurons (TwentyBN): We quickly became good friends and explored product applications for TwentyBN’s video understanding technology: large-scale crowd-acted video demonstrations of concepts, actions and situations that could endow machines with visual common sense and intuitive physics. The company was ultimately acquired by Qualcomm, where Moritz now serves as Director of Product Management.press.airstreet.com2024년 AI 스타트업을 위한 데이터 수집 전략 | GeekNews[ #1 대규모 생성형 모델(Large Generative Models) ]LLM과 LMM을 활용한 합성 데이터 생성Large Language Model(LLM)은 텍스트 출력을 생성하는 반면, Large Multi-Modal Model(LMM)은 텍스트, 코드, 이미지 등 다양한 형태의 합성 데이터를 생성할 수 있음실제 데이터가 부족하거나, 개인정보 보호news.hada.ioReactionCommentShare
JerryApr 29#AI #LLM업스테이지, 오픈소스 데이터 ETL 파이프라인 구축 프로젝트 Dataverse 공개Python을 사용해 추출, 변환, 로드(ETL) 파이프라인을 간소화하도록 설계된 무료로 액세스 가능한 오픈 소스 프로젝트🔗 https://github.com/UpstageAI/dataverse🔗 https://ko.upstage.ai/feed/tech/dataverse-preprocessing-open-source 데이터 처리에 관한 오픈소스, 데이터버스 - Upstage'Dataverse'는 건강한 LLM 데이터 전처리 생태계를 구축하기 위한 업스테이지의 오픈소스 프로젝트입니다. 이 프로젝트가 시작된 계기와 오픈소스 데이터 처리 영역의 미래 전망에 대해 블로그에서 자세히 살펴보세요.ko.upstage.aiGitHub - UpstageAI/dataverse: The Universe of Data. All about data, data science, and data engineeringThe Universe of Data. All about data, data science, and data engineering - UpstageAI/dataversegithub.comReactionCommentShare
JerryApr 28#AI #LLMReader(Jina AI)웹사이트의 구조 및 내용을 LLM의 프롬프트로 이용하기 용이하도록 요약분석하려는 웹사이트 URL 앞에 접두사 https://r.jina.ai/ 를 붙이면 출력을 확인할 수 있음AI 어플리케이션의 에이전트 및 RAG 시스템의 출력을 개선할 수 있음무료로 사용 가능🔗 https://jina.ai/reader/#demo 🔗 https://github.com/jina-ai/readerGitHub - jina-ai/reader: Convert any URL to an LLM-friendly input with a simple prefix https://r.jina.ai/Convert any URL to an LLM-friendly input with a simple prefix https://r.jina.ai/ - jina-ai/readergithub.comReader APIRead any URL into LLM-friendly text instantly, hassle-free.jina.aiReactionCommentShare
JerryApr 26#AItiny-gpuGPU의 작동 원리를 기초부터 배우기에 최적화된 최소한의 Verilog GPU 구현15개 미만의 완전 문서화된 Verilog 파일, 아키텍처 및 ISA에 대한 완전한 문서, 작업 행렬 덧셈/곱셈 커널로 구축커널 시뮬레이션 및 실행 추적을 완벽하게 지원🔗 https://github.com/adam-maj/tiny-gpu GitHub - adam-maj/tiny-gpu: A minimal GPU design in Verilog to learn how GPUs work from the ground upA minimal GPU design in Verilog to learn how GPUs work from the ground up - adam-maj/tiny-gpugithub.comReactionCommentShare
JerryApr 23#AI #LLMOpenAI Assistant API v2 출시🔗 https://platform.openai.com/docs/assistants/whats-newReactionCommentShare
JerryApr 23#AI #LLMDify오픈 소스 LLM 앱 개발 플랫폼직관적인 인터페이스에 AI 워크플로우, RAG 파이프라인, 에이전트 기능, 모델 관리, 상태 관찰(observability) 기능 등을 결합하여 프로토타입에서 프로덕션으로 빠르게 전환할 수 있도록 지원타 AI 개발 플랫폼과의 비교(이미지)🔗 https://github.com/langgenius/dify GitHub - langgenius/dify: Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, letting you quickly go from prototype to production.Dify is an open-source LLM app development platform. Dify's intuitive interface combines AI workflow, RAG pipeline, agent capabilities, model management, observability features and more, le...github.comReactionCommentShare
JerryApr 22#AI #LLMLlama 3 토크나이저를 웹에서 사용해보기토크나이저는 Llama 3에서의 주요 변경사항 중 하나토큰 수가 32K에서 128K로 증가🔗https://belladoreai.github.io/llama3-tokenizer-js/example-demo/build/ llama-tokenizer-js playgroundWeb site created using create-react-appbelladoreai.github.ioReactionCommentShare
JerryApr 18#AI #LMMGrok-1.5 Vision(Grok-1.5V) PreviewGrok은 X(구 Twitter)에서 구축한 LLMGrok-1.5V Grok에서 비전 입출력을 더한 멀티모달 버전(LMM)🔗 https://x.ai/blog/grok-1.5v Grok-1.5 Vision PreviewConnecting the digital and physical worlds with our first multimodal model.x.aiReactionCommentShare
JerryApr 18#Graph Solving the minimum cut problem for undirected graphs그래프에서의 minimum cut은 그래프 파티셔닝과 관련 있는 개념🔗 https://research.google/blog/solving-the-minimum-cut-problem-for-undirected-graphs/ Solving the minimum cut problem for undirected graphsresearch.googleReactionCommentShare
JerryApr 18#Database #PostgresNeon, 정식 출시서버리스(serverless) 형태로 PostgreSQL 호환 데이터베이스를 제공AWS Aurora Postgres의 서버리스 오픈 소스 대안🔗 https://neon.tech/blog/neon-ga Neon: A New Approach to Database Development - NeonNeon is now Generally Available. We’ve shipped major improvements to Neon internals that, combined with our operating experience scaling up to 700,000+ databases over the past year, give us the confidence that Neon is ready to support your business-critical workloads. If you’re building or scaling an application, you like Postgres, and you prioritize efficiency and […]neon.techReactionCommentShare
JerryApr 18#Database #PostgresSupabase, 정식 출시BaaS(Backend as a Service, 서비스형 백엔드)프론트엔드 애플리케이션에 백엔드 서비스를 자동화화여 제공하기 위해 사용Firebase는 NoSQL 기반이며, Supabase는 Firebase의 PostgreSQL 버전🔗 https://supabase.com/ga General Availability | SupabaseSupabase is officially launching into General Availability.supabase.comReactionCommentShare
JerryApr 14#PostgresPostgreSQL index advisor쿼리에 인덱스가 있어야 하는지 여부를 결정할 수 있는 PostgreSQL extensionSupabase에서 제공예를 들어, 아래 테이블의 경우'index_advisor()'를 실행하여 select 문에 인덱스가 있어야 하는지 확인할 수 있음출력 예는 다음과 같음Postgres 데이터베이스에서 실행된 모든 SQL 문의 실행 통계를 추적하는 pg_stat_statements와 잘 연동됨본 기능은 리소스를 사용하지 않고도 PostgreSQL이 주어진 인덱스를 사용할지 여부를 결정하는 데 탁월한 extension인 HypoPG에 크게 의존함🔗 https://github.com/supabase/index_advisor GitHub - supabase/index_advisor: PostgreSQL Index AdvisorPostgreSQL Index Advisor. Contribute to supabase/index_advisor development by creating an account on GitHub.github.comReactionCommentShare
JerryApr 14#Postgres pgJQpgJQ extension은 내장된 표준 jq 컴파일러를 통해 jq 언어를 Postgres에서 사용할 수 있게 함jq는 JSON 데이터를 처리하고 변환할 수 있는, 가볍고 유연한 커맨드라인 도구jq 프로그램을 구현하는 jqprog 데이터 타입과 jsonb 객체에서 이를 실행하는 jq(jsonb, jqprog) 함수가 추가됨표준 jsonb 함수, 연산자 및 jsonpath와 원활하게 연동🔗 https://github.com/Florents-Tselai/pgJQ GitHub - Florents-Tselai/pgJQ: jq extension for Postgresjq extension for Postgres. Contribute to Florents-Tselai/pgJQ development by creating an account on GitHub.github.comReactionCommentShare
JerryApr 14#AI #LLM #RAGDotDot은 로컬 LLM과 RAG를 쉽게 사용하여 문서 및 파일과 상호 작용하기 위한 독립형(standalone ) 오픈 소스 앱완전 독립형이며 Mistral 7B 사본을 포함한 기능들이 패키지로 제공되므로 앱에 쉽게 액세스할 수 있음프로그래밍이나 로컬(local) LLM에 대한 사전 지식 없이도 사용할 수 있음애플의 Silicon 이나 Windows 환경에서도 사용 가능🔗 https://dotapp.uk🔗 (사용 예) https://dotapp.uk/assets/bigdotvid.webm Try out the Dot betadotapp.ukReactionCommentShare
JerryApr 11#AI #LLM #LMMOpenAI, 비전 버전의 GPT-4 Turbo 모델 API 공개모델명 gpt-4-turbo-2024-04-09 로 이용할 수 있음비전에 대한 요청을 JSON 모드와 function calling을 사용할 수 있음 gpt-4-turbo 도 현재 이 버전에 해당128,000 토큰의 context window 크기 지원, 2023년 12월까지의 데이터 반영🔗 https://platform.openai.com/docs/models/continuous-model-upgrades ReactionCommentShare
JerryApr 10#AI #LLMLumentis간단한 command 만으로 녹취록과 같은 텍스트 기록(transcript) 및 비정형 정보로부터 웹페이지 형식의 문서(docs)를 곧바로 생성할 수 있음작업에 필요한 비용을 실행 전 동적으로 알려줌작업 종류에 따라 모델 전환 가능사용자 기록이나 내부 프로세스를 확인할 수 있음Vercel을 통해 배포🔗 https://github.com/hrishioa/lumentis?tab=readme-ov-file 🔗 (결과물 예시) https://feynman-lectures.vercel.app/ Introduction to Physical Laws – NextraThis appears to be a transcript of a series of lectures given by renowned physicist Richard Feynman. He discusses the nature of physical laws, the scientific process of formulating theories and making discoveries, and the challenges and excitement of trying to unravel the fundamental workings of the universe. Key themes include the role of imagination and guesswork in scientific advancement, the relationship between mathematics and the physical world, and the ongoing quest to find a unified, consistent set of principles that can explain all observable phenomena. The lectures were likely given to a general audience interested in physics and aimed at making complex ideas accessible.feynman-lectures.vercel.appGitHub - hrishioa/lumentis: AI powered one-click comprehensive docs from transcripts and text.AI powered one-click comprehensive docs from transcripts and text. - hrishioa/lumentisgithub.com1 Reaction1 CommentReactionCommentShare
JerryApr 8#AI #LLM #RAGVector Library vs Vector Database🔗 https://weaviate.io/blog/vector-library-vs-vector-database Vector Library versus Vector Database | Weaviate - Vector DatabaseLearn more about the differences between vector libraries and vector databases!weaviate.io1 Reaction1 CommentReactionCommentShare
JerryApr 8#AI #LLM2024년 데이터, 분석, 머신러닝, AI 생태계(MAD; ML, AI, Data)에 대한 현황 보고서🔗 https://mad.firstmark.com/ 🔗 https://mattturck.com/mad2024/ 🔗 https://news.hada.io/topic?id=14209 2024년 ML/AI/Data 업계 지도와 최신 트렌드 | GeekNews이미지 한장으로 정리한 2024년 MAD(ML,AI,Data) 업계 지도 및 올해의 24가지 테마 설명[Part I : Landscape]2012년 최초 버전에서는 139개 기업만 있었으나, 2024년 MAD 생태계에는 2,011개 기업이 포함됨이는 작년 1,416개에서 578개가 새로 추가된 것이렇게 많은 기업이 포함된 이유는 최근 10여년간 데이터 인프news.hada.ioFull Steam Ahead: The 2024 MAD (Machine Learning, AI & Data) LandscapeThis is our tenth annual landscape and “state of the union” of the data, analytics, machine learning and AI ecosystem. In 10+ years covering the space, things have never been as exciting and promising as they are today. All trends and subtrends we described over the years are coalescing: data hamattturck.comFirstMark | 2024 MAD (ML/AI/Data) LandscapeThe 2024 MAD (ML/AI/Data) Landscape is the definitive market map of companies and products in machine learning, artificial intelligence and data, compiled by FirstMark.mad.firstmark.com1 Reaction1 CommentReactionCommentShare
JerryApr 7#AI #LLMLanguage Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch언어 모델(LM)이 재학습 또는 GPU를 이용한 작업 없이도 동종 모델의 파라미터를 흡수하여 새로운 기능을 획득할 수 있음🔗 https://news.ycombinator.com/item?id=39952826 🔗 https://arxiv.org/abs/2311.03099 Language Models are Super Mario: Absorbing Abilities from...In this paper, we unveil that Language Models (LMs) can acquire new capabilities by assimilating parameters from homologous models without retraining or GPUs. We first introduce DARE to set most...arxiv.orgLanguage models are Super Mario: Absorbing abilities from homologous models | Hacker Newsnews.ycombinator.comReactionCommentShare
JerryApr 7#Databases drawDB브라우저에서 바로 사용할 수 있는, 사용자 친화적인 데이터베이스 엔티티 관계(database entity relationship, DBER) 편집기계정을 만들지 않고도 몇 번의 클릭만으로 다이어그램을 작성하고, SQL 스크립트를 내보내고, 편집기를 사용자 지정하는 등의 작업을 수행할 수 있음🔗 https://drawdb.vercel.app/ 🔗 https://github.com/drawdb-io/drawdb GitHub - drawdb-io/drawdb: Free, simple, and intuitive online database design tool and SQL generator.Free, simple, and intuitive online database design tool and SQL generator. - drawdb-io/drawdbgithub.comdrawDB | Online database diagram editor and SQL generatorOnline database entity-realtionship diagram editor and SQL generator. Design, visualize, and export scripts without an account and completely free of charge.drawdb.vercel.appReactionCommentShare